Про BenchBot

BenchBot було створено у 2024 році компанією xyndata — софтверною компанією з Праги. Усе почалося з реальної проблеми: один із найбільших роздрібних рітейлерів Німеччини не міг надійно тестувати розмовний AI, що стояв за його клієнтською підтримкою. Їхні чат-боти й голосові боти, побудовані на Cognigy.ai, чудово виглядали на демонстраціях, але кожен реліз ризикував зламати сценарій діалогу, призвести до витоку даних чи неправильно обробити граничний випадок, який ніхто не подумав перевірити.

Ми спостерігали, як їхня команда намагалася встигати за ручним тестуванням — відтворюючи діалоги вручну, підтримуючи крихкі скрипти — і все одно пропускала спроби prompt-injection, галюцинації (hallucinations) та прогалини у відповідності вимогам (compliance), які проявлялися лише в продакшені. Традиційний QA ніколи не створювався для систем, які можуть бути непередбачуваними, піддаватися маніпуляціям або впевнено помилятися. Тестування розмовного AI мало стати таким же ретельним і автоматизованим, як тестування будь-якого іншого критично важливого програмного забезпечення.

Тож ми побудували платформу, якої їм бракувало. З цього досвіду BenchBot виріс у повноцінний набір інструментів для тестування, який автоматично досліджує можливості бота, звіряє його з базою знань (knowledge base) та виконує функціональні перевірки, перевірки безпеки й відповідності вимогам через понад 60 конекторів (connectors) — для чат-ботів і голосових ботів на будь-якій платформі, не лише на Cognigy. Сьогодні xyndata допомагає командам у сферах роздрібної торгівлі, фінансів і охорони здоров'я випускати розмовний AI, якому вони справді можуть довіряти.