Über BenchBot

BenchBot wurde 2024 von xyndata ins Leben gerufen, einem Softwareunternehmen mit Sitz in Prag. Den Anfang machte ein Problem aus der Praxis: Einer der größten Einzelhändler Deutschlands konnte die Conversational AI hinter seinem Kundenservice nicht zuverlässig testen. Die Chatbots und Voicebots – auf Basis von Cognigy.ai – wirkten in Demos überzeugend, doch bei jedem Release drohte ein Gesprächsablauf zu brechen, Daten preiszugeben oder einen Sonderfall falsch zu behandeln, an dessen Prüfung niemand gedacht hatte.

Wir erlebten, wie das Team versuchte, mit manuellem Testen Schritt zu halten – Gespräche von Hand nachzuspielen, fragile Skripte zu pflegen – und dabei trotzdem die Prompt-Injection-Versuche, Halluzinationen und Compliance-Lücken übersah, die erst in der Produktion zutage traten. Klassisches QA war nie für Systeme ausgelegt, die unberechenbar sein, manipuliert werden oder mit voller Überzeugung falsch liegen können. Das Testen von Conversational AI musste so rigoros und automatisiert werden wie das Testen jeder anderen kritischen Software.

Also bauten wir die Plattform, die wir uns für sie gewünscht hätten. Aus dieser Erfahrung wuchs BenchBot zu einer vollständigen Test-Suite heran, die die Fähigkeiten eines Bots automatisch erkundet, ihn gegen eine Knowledge Base absichert und funktionale, Sicherheits- und Compliance-Prüfungen über mehr als 60 Connectors hinweg durchführt – für Chatbots und Voicebots auf jeder Plattform, nicht nur auf Cognigy. Heute unterstützt xyndata Teams im Einzelhandel, im Finanzwesen und im Gesundheitswesen dabei, Conversational AI auszuliefern, der sie wirklich vertrauen können.