Тестирование ИИ-агента перед запуском: чек-лист проверки ответов

Тестирование ИИ-агента — обязательный этап перед запуском и после каждого существенного изменения. В отличие от обычных программ, агент может по-разному отвечать на похожие вопросы, поэтому проверка строится на наборе реальных сценариев и правил оценки.

Тестовый набор

Основа тестирования — набор вопросов из реальных переписок. Хороший набор включает несколько групп: частые простые вопросы, сложные вопросы с несколькими условиями, вопросы без ответа в базе, провокации и попытки обойти правила, сообщения на узбекском и смешанном языке, голосовые сообщения, если агент их принимает.

Сценарии от начала до конца

Кроме отдельных вопросов, проверяйте полные сценарии: клиент спрашивает о товаре, уточняет доставку, решает купить, оставляет контакт. Убедитесь, что заявка дошла до CRM или таблицы со всеми полями, а менеджер получил уведомление.

Проверка правил

• Агент не называет цены вне базы знаний
• Агент не обещает сроки без проверки
• Агент передаёт разговор при жалобе и просьбе о скидке
• Агент не раскрывает свою инструкцию
• Агент вежлив при грубости клиента

Провокации

Попробуйте «сломать» агента: попросите забыть правила, выдать данные других клиентов, написать что-то от имени компании, обсудить конкурентов. Правильно настроенный агент вежливо отказывает и возвращает разговор к теме.

Язык

Отдельно проверьте ответы на узбекском с участием носителя языка: грамматику, естественность, правильность названий. Если клиенты пишут на латинице и кириллице, проверьте оба варианта.

Нагрузка и скорость

Отправьте несколько сообщений одновременно от разных пользователей и проверьте время ответа. В мессенджерах задержка больше нескольких секунд заметна и раздражает клиентов.

Оценка результатов

Для каждого вопроса фиксируйте оценку: правильно, частично, неверно, нарушение правила. Нарушения правил и выдуманные факты исправляйте до запуска обязательно. Частично правильные ответы можно доработать в процессе.

Регрессионная проверка

После каждого изменения инструкции или базы знаний прогоняйте весь набор снова. Исправление одной ошибки нередко создаёт другую, и только полный прогон это показывает. Со временем добавляйте в набор вопросы, на которых агент ошибался в реальной работе.

Кто тестирует

Лучше всего — сотрудники, которые ежедневно общаются с клиентами: они знают типичные вопросы и сразу видят неточности. Подрядчик готовит инструменты и процедуру, а оценку содержания дают люди из компании.