RAG для ИИ-агента: как научить его отвечать по документам компании

RAG (Retrieval-Augmented Generation) — подход, при котором агент перед ответом ищет нужные фрагменты в документах компании и формулирует ответ на их основе. Именно благодаря RAG агент может отвечать о ваших ценах, условиях и регламентах, а не только из общих знаний модели.

Как это работает

Тексты компании делят на небольшие куски и кладут в векторное хранилище — там искать можно по значению фразы. Когда клиент задаёт вопрос, система находит несколько наиболее подходящих фрагментов и передаёт их модели вместе с вопросом. Модель формулирует ответ, опираясь на найденный текст.

Почему не загрузить всё в инструкцию

Документов обычно слишком много, чтобы передавать их целиком в каждом запросе: это медленно и дорого. Кроме того, при большом объёме текста модель хуже находит нужную деталь. RAG передаёт только относящиеся к вопросу фрагменты.

Подготовка документов

• Одна тема — один раздел с понятным заголовком
• Короткие самостоятельные абзацы
• Без противоречий между документами
• Актуальные даты и пометки об изменениях
• Названия товаров и услуг одинаковые во всех документах

Сырые документы — длинные регламенты, презентации, переписки — часто дают плохой поиск. Их стоит переработать в формат вопросов и ответов или коротких справок.

Разбиение на фрагменты

Если фрагменты слишком большие, в них попадает много лишнего. Если слишком маленькие — теряется контекст: например, условия доставки отрываются от названия региона. Хорошая практика — разбивать по смысловым разделам и добавлять к каждому фрагменту заголовок раздела.

Проверка качества поиска

Для каждого вопроса из тестового набора смотрите не только ответ агента, но и какие фрагменты нашёл поиск. Если найдены не те фрагменты, проблема в документах или их разбиении, а не в модели. Это частая причина ошибок, которую легко пропустить.

Обновление базы

При изменении цен или условий нужно обновить соответствующий документ и переиндексировать базу. Если старые версии остаются, агент может находить устаревшие факты. Назначьте ответственного и простой порядок обновления.

Ограничения RAG

RAG хорошо отвечает на вопросы, ответ на которые содержится в одном-двух фрагментах. Вопросы, требующие сопоставления многих документов или расчётов, решаются хуже. Для таких задач нужны дополнительные инструменты: таблицы, функции расчёта, запросы к учётной системе.

Признак хорошей настройки

Агент отвечает точными фактами из документов, ссылается на правильные условия и честно говорит, что не знает, когда в документах нет ответа. Если агент часто «додумывает», стоит проверить и поиск, и правило отвечать только по найденному.