Пилотное внедрение Naumen KMS Copilot: быстрая проверка гипотез и снижение рисков

На рынке сохраняется достаточно высокий уровень недоверия к новым технологиям на основе GenAI. Часть компаний все еще считает такие инновации не всегда экономически оправданными и рискованными. Максимально комфортно войти в тренд на использование ИИ-ассистентов самым осторожным участникам рынка помогут пилотные проекты, предполагающие многофакторную оценку работы ИИ-инструмента.

Лучше один раз проверить, чем долго сомневаться

Не стоит представлять себе пилотный проект по внедрению Naumen KMS Copilot как эпопею на несколько месяцев. В реальности он может потребовать не более двух недель (тем не менее, сроки пилотов могут быть разными, так как зависят от задач заказчика).

Многие компании выбирают облако, так как это традиционно сильно сокращает сроки и упрощает развертывание новых сервисов. Здесь кроется основной плюс использования облачной инфраструктуры, однако она подходит не всем. Если компания обязана соблюдать жесткие требования законодательства в части безопасности данных или просто работает с большим объемом чувствительной информации и персональных данных, то ей больше подходит проект, реализованный во внутреннем ИТ-контуре. В таком случае утечки исключены.

Пилот с подключением реальных пользователей или работа с эталонными запросами

Выбор зависит от текущих потребностей и задач бизнеса. В первом случае формируется группа сотрудников, которые обращаются к Naumen KMS Copilot при каждом поисковом запросе, а затем оценивают сгенерированные ответы. Во втором случае компания также выбирает опытный проект, но при этом формируется пул из 20–50 примеров вопросов и эталонных ответов на них. Ответы Naumen KMS Copilot будут сравниваться именно с ними. Затем необходимо проверить уровень качества знаний, на которые будет опираться Naumen KMS Copilot и перепроверить настройки ролевого доступа к контенту. Наконец, можно приступать к тестовому запуску, который будет сопровождаться постоянным сбором обратной связи от пользователей.

Оценка результатов пилотного проекта

Оценка включает неоднократное тестирование качества ответов Naumen KMS Copilot, чтобы выявить проблемы и исправить недостатки в его работе.

Например, частично корректным можно признать ответ, где неверна только пунктуация или из 10 шагов в длинной инструкции пропущен один. Кроме того, при оценке ответов могут использоваться более размытые критерии в свободной форме обратной связи. Он может быть слишком длинным, не содержать конкретного набора шагов для решения данной проблемы или иметь иные недостатки с субъективной точки зрения пользователя. Также некорректными признаются ответы, сформированные не для оператора, а для клиентов, так как предполагают иные цели и использование.

Финальный этап оценки — экспертный анализ размеченных ответов (в том числе статистический) и обратной связи от сотрудников, а также разработка вариантов, как можно оптимизировать работу с Naumen KMS Copilot.

Качественная база знаний — концептуальное условие успешного пилотирования и дальнейшего использования ИИ-ассистента

При всей важности ИИ-технологий результат пилотного проекта зависит не только от настройки системы, качества проработки промтов и вычислительных возможностей больших языковых моделей. Слабым звеном нередко становится база знаний с низким качеством контента, ведь сама по себе модель не может ни создавать, ни структурировать информацию в системе.

Недостаточно качественной является база знаний, в которой есть задвоенные, противоречивые, непонятные или неактуальные данные. Также при оценке качества менеджмента знаний в компании можно ориентироваться на критерий понятности информации. Практика показывает, что использование методологии рефакторинга контента и процессов, разработанной Naumen, повышает понятность информации в базе знаний на 36%. При этом, чем она яснее и доступнее пользователям, тем проще обучить на ней и искусственный интеллект.

На проектах с базой знаний, которая системно и методологически организована, точность ответов Naumen KMS Copilot достигает 94%. Если же в ней нет, например, четкого разграничения информации, направленной на клиентов и операторов, ИИ-ассистент работает менее эффективно. Это связано с тем, что ему приходится дополнительно проводить разграничения, формируя ответы только для сотрудников контакт-центра. Точность его работы снижается в среднем до 60,4%. Если же информация в базе знаний в принципе слабо структурирована, корректность ответов Naumen KMS Copilot падает уже до 50,2%. О том, как спроектировать базы знаний, повысить качество контентом и выстроить поддерживающие процессы, мы рассказывали здесь.