O firmie BenchBot

BenchBot powstał w 2024 roku w xyndata, firmie programistycznej z siedzibą w Pradze. Wszystko zaczęło się od realnego problemu: jeden z największych detalistów w Niemczech nie był w stanie wiarygodnie testować konwersacyjnego AI obsługującego jego dział obsługi klienta. Jego chatboty i voiceboty — zbudowane na Cognigy.ai — świetnie prezentowały się podczas demonstracji, ale każde wydanie groziło zepsuciem przebiegu rozmowy, wyciekiem danych lub błędną obsługą przypadku brzegowego, którego nikomu nie przyszło do głowy sprawdzić.

Obserwowaliśmy, jak ich zespół próbuje nadążyć za testowaniem manualnym — ręcznie odtwarzając rozmowy, utrzymując kruche skrypty, a mimo to przeoczając próby prompt-injection, halucynacje i luki w zgodności z przepisami, które ujawniały się dopiero na produkcji. Tradycyjne QA nigdy nie było projektowane z myślą o systemach, które potrafią być nieprzewidywalne, podatne na manipulację lub błędne z pełnym przekonaniem. Testowanie konwersacyjnego AI musiało stać się równie rygorystyczne i zautomatyzowane jak testowanie każdego innego krytycznego oprogramowania.

Zbudowaliśmy więc platformę, której im brakowało. Z tego doświadczenia BenchBot rozrósł się w kompletny zestaw narzędzi do testowania, który automatycznie bada możliwości bota, weryfikuje go względem bazy wiedzy oraz przeprowadza testy funkcjonalne, bezpieczeństwa i zgodności z przepisami z wykorzystaniem ponad 60 konektorów — dla chatbotów i voicebotów na dowolnej platformie, nie tylko Cognigy. Dziś xyndata pomaga zespołom z branż handlu detalicznego, finansów i ochrony zdrowia wdrażać konwersacyjne AI, któremu naprawdę mogą zaufać.