ИИ-помощник для анализа требований
В работе техпресейла значительная часть времени уходит на анализ требований клиентов — они часто приходят в виде больших опросников, которые нужно внимательно разобрать и прокомментировать.
Когда таких документов много и нужна оперативность, ручная обработка начинает замедлять работу команды. С этим регулярно сталкивалась команда техпресейла Naumen. Поэтому Настя и Даша, системные аналитики команды, решили попробовать автоматизировать часть процесса и внедрили ИИ-помощника для анализа требований.
В статье рассказываем, как они собирали данные, какие подходы пробовали и как в итоге пришли к решению на базе RAG.
Чем занимается техпресейл
Мы подключаемся к работе тогда, когда клиент уже заинтересовался продуктом, но ему нужна более глубокая техническая консультация.
Техпресейл — это мост между продуктом и продажей. Мы проводим технические демонстрации, обсуждаем требования клиента и помогаем понять, подходит ли продукт под его задачи.
Почему Excel-файл оказался неудобным для анализа требований
Типичный опросник — это таблица с тремя колонками:
- требование клиента
- какой продукт соответствует
- комментарии
Когда таких задач много и у них срочные дедлайны, возрастает нагрузка на команду и появляются риски задержек. Поэтому мы решили автоматизировать процесс.
С чего мы начали автоматизацию
Сначала нужно было собрать данные. Все старые опросники лежали у разных участников команды и были оформлены по‑разному.Поэтому первым шагом мы:
- Собрали все опросники за год в единый массив.
- Привели их к единому формату.
- Классифицировали требования.
- Проверили и почистили данные от дублей и неточностей.
В итоге получился датасет примерно из 2 000 требований, который стал основой нашей базы для тестирования ИИ-помощника.
Почему классические модели не сработали
Первой идеей было использовать классические методы анализа текста. Мы пробовали TF-IDF, Bag-of-Words и стандартные модели классификации.
Но столкнулись с двумя проблемами:
- низкое качество классификации
- дисбаланс данных
Большинство требований продукт действительно покрывал, поэтому модель быстро «научилась» отвечать одинаково. Стало понятно, что нужен другой подход.
Как мы пришли к RAG-подходу
Мы перешли к векторному поиску и трансформерам. Идея была в том, чтобы по новому требованию находить в базе знаний похожие требования и использовать их как контекст.Получился умный поиск по нашим прошлым ответам. Но этого все равно было недостаточно: нужно было не только находить похожие требования, но и генерировать комментарий.
Так мы пришли к подходу RAG (Retrieval-Augmented Generation) — LLM сначала находит факты в базе знаний, а уже потом формирует ответ.
Как работает наш ассистент
Сервис работает в Telegram-боте и поддерживает два сценария.Вопрос в чате — пользователь задает вопрос, бот ищет информацию в базе знаний и формирует ответ.
Загрузка Excel-файла — пользователь загружает файл с требованиями, после чего сервис проходит по каждой строке и автоматически заполняет:
- соответствие (да / нет / не знаю)
- комментарий с объяснением соответствия
В итоге пользователь получает уже заполненный Excel-файл и может сразу перейти к проверке результатов, не тратя время на ручную обработку каждой строки.
Из чего состоит база знаний
Мы используем два источника:- документацию по продуктам Naumen
- структурированные опросники из прошлых проектов
Какие есть ограничения у ассистента
ИИ-ассистент помогает быстрее разбирать требования, но полностью заменить аналитика он пока не может.Например, иногда клиенты присылают требования, которых еще нет в базе знаний. В таких случаях бот отвечает «не знаю», и требование разбирает специалист.
Также иногда встречается типичная проблема LLM — галлюцинации. Поэтому финальную проверку ответа все равно делает системный аналитик.
Что это дало команде
В результате мы получили инструмент, который:- помогает быстрее обрабатывать требования
- уменьшает объем ручной работы
- дает доступ к базе знаний 24/7
- может масштабироваться на другие команды
