Генеральный директор, gd.ru: Интеллектуальный корпоративный поиск: как находить данные быстрее

Любая организация накапливает за годы работы огромный массив информации, который со временем только увеличивается. Ежедневно сотрудникам нужно ориентироваться в этом океане данных, извлекать из него материалы для решения рабочих задач.

По данным исследования Naumen и TAdviser, 48% российских организаций испытывают трудности с поиском необходимой информации.

Почему «добыть» нужные данные так непросто

1. Данные в организации не объединены в общую базу. Информация хранится в разрозненном виде во множестве внутренних и внешних источников. В 92% опрошенных Naumen и TAdviser компаний сотрудники часто не понимают, что и в каких конкретно корпоративных системах искать. В 60% компаний сотрудники сталкивались с тем, что, в принципе не могли найти нужную информацию во внутренних системах.

2. Компании пользуются поиском на основе ключевых слов и точного соответствия текста. Это устаревшая технология, которая совсем не облегчает сотрудникам жизнь. По оценке IDC, специалисты тратят около 2,5 часа в день (36% рабочего времени) на поиск информации.

Обычный поиск не выходит за рамки «бездумной» выдачи в ответ на ключевой запрос. Он не учитывает контекст работы сотрудника, историю поиска, связи между документами. Результаты исследования Search Your Cloud показывают, что сотруднику требуется сделать до 8 запросов, чтобы добраться до нужного документа.

Поиск по ключевым словам плохо ориентируется в разнообразных форматах данных, преимущественно работая с текстом. При этом в организации данные могут храниться в сотнях форматов — презентации, видео, статьи, текстовые документы, графики, изображения и т. д.

Какие проблемы приносят сложности с поиском информации

Без возможности просто и быстро найти нужные данные, эффективность сотрудников падает. Рабочее время уходит на безрезультатные поиски, решение задач откладывается.

Опрошенные TAdviser компании выделяют такие последствия:

• затягиваются сроки решения рабочих задач (86%);
• увеличиваются операционные расходы (80%);
• компания теряет в выручке (70%) — в том числе и потому, что откладывается вывод продуктов на рынок, затягивается срок внедрения инноваций и т. д.

Решение: корпоративный интеллектуальный поиск

Чтобы решить перечисленные проблемы, нужно создать/внедрить систему, которая будет агрегировать информацию из всех источников и анализировать ее. Таким решением является корпоративный интеллектуальный поиск.

Что такое интеллектуальный поиск

По определению Forrester — это новое поколение корпоративного поиска, которое применяет технологии ИИ: обработку естественного языка и машинное обучение. Технологии нужны, чтобы усваивать, понимать, организовывать и запрашивать цифровой контент из множества источников данных.

Интеллектуальный поиск помогает объединить все источники информации (внутренние и внешние) в единую базу знаний, в которой легко сориентироваться и найти то, что нужно максимально быстро.

Чем интеллектуальный поиск отличается от обычного

• Способен обрабатывать большое количество источников данных и разные типы данных. Поиск больше не ограничен текстом, который находится в документах и веб-страницах. Интеллектуальный поиск может обрабатывать изображения, видео, аудио, машинные данные, например, с датчиков и с устройств интернета вещей (IoT) и IIoT (Industrial internet of things).
• Использует технологии ИИ — обработку естественного языка и машинное обучение. Интеллектуальный поиск происходит не по ключевым словам, а с помощью искусственного интеллекта. ИИ анализирует взаимоотношения между словами.
• Смотрит на паттерны (шаблоны, закономерности) и взаимосвязи внутри данных. Делает вывод относительно намерения пользователя и предоставляет контекстно-зависимую информацию.

Как работает интеллектуальный поиск

В компании есть внутренние системы хранения и управления данных, также для поиска идет запрос к внешним источникам. Информация фрагментированная и разрозненная, хранится в разных хранилищах и корпоративных приложениях.

Система корпоративного поиска подключается к имеющимся источникам данных. Далее проходит следующие этапы:

1. Система просматривает всё, к чему есть доступ. Умеет считывать практически любой тип данных — текст в виде документов, веб-страниц, обычного текста (plain text.txt), таблицы (excel, csv и т. д.), презентации (power point). Также может подключаться к базам данных, открывать изображения, читать аудио и видеофайлы, 3D модели и чертежи.
2. Индексирует файлы. Индекс создается по результатам анализа данных и нахождения в них взаимосвязей.

Система анализирует содержимое файла и мета данные, на основе этого создает связи с другими файлами. Анализ содержимого и создание связей — самый технологически сложный процесс. Именно в нем кроется большая часть успешности поисковой системы в целом. Здесь мы видим качественное отличие от обычного поиска: он ищет по ключевым словам, а интеллектуальный используется машинное обучение.

После индексации система создает базу данных, где хранит результаты анализа. Далее в процессе поиска она будет обращаться именно к этой базе.

Как происходит сам процесс поиска

Пользователь создает поисковый запрос, система обрабатывает его с учетом контекста работы сотрудника (его роли). Система старается как бы понять намерение запроса, а не просто искать по ключевым словам.

В системе есть персонализация выдачи. Учитывается роль пользователя и его нахождение в организационной структуре компании. Например, в дочерних компаниях или филиалах могут быть свои нормативные документы с похожими названиями. В первую очередь пользователь будет видеть данные из его организации.

На поисковую выдачу повлияет, есть ли у пользователя доступ к документам источника. Если нет, то он их не увидит.

Также выдача будет меняться в зависимости от истории запросов пользователя.

Какие технологии лежат в ядре интеллектуального поиска

Для начала рассмотрим наиболее сложные с технической стороны задачи, которые стоят перед корпоративным поиском, а затем покажем, какие технологии позволяют их решать.

Задача 1: Проанализировать содержимое данных, чтобы построить между ними связи

Сюда входит анализ видео, аудио, изображений; распознавание образов и текста. Необходимо найти концептуальную связь между данными и элементами данных — например, чтобы определить, насколько близки по смыслу две научные статьи.

Задача 2: Интерпретировать запрос с учетом контекста

• Одновременно учесть и расшифровать содержание запроса.
• Учесть роль сотрудника, который сделал запрос. Это поможет создать кастомизированную выдачу — выстроить ответы на основе истории поиска конкретного сотрудника, уровня его доступа к документам и положения в компании. Например, линейному инженеру с определенным «фронтом работ» поиск покажет более суженную выдачу, учитывающую рамки задач сотрудника. А вот руководитель инженерного отдела увидит более широкие данные.

С этими задачами система справляется благодаря машинному обучению. А именно его области — обработки естественного языка (Natural Language Processing). NLP анализирует и выделяет смысл из текста, написанного человеческим языком. В том числе текста на изображениях, видео и расшифровок аудио с речью.

Машинное обучение в целом:

• Распознает речь, переводит ее в текст.
• Распознает образы в изображениях и видео. Например, определяет, кто в кадре — человек, кошка, автомобиль. Также выделяет конкретные характеристики этих объектов — какое выражение лица у человека, какого цвета машина и какой она марки и т. д.
• Распознает текст на видео и изображениях.
• Строит логические связи между концепциями — связывает разные типы данных по смыслу, насколько они близки друг другу, пересекается ли их содержание.

Важная особенность машинного обучения — это, собственного, его обучаемость. Можно применить технологии, которые со временем найдут скрытые связи между запросами и данными, наиболее полезными пользователю. Постепенно алгоритмы поиска учатся выдавать более релевантную информацию. Все эти возможности реализованы в системе корпоративного поиска Naumen Enterprise Search.

Итоги: польза интеллектуального корпоративного поиска

1. Интеллектуальный поиск лучше понимает запрос пользователя, предоставляет релевантные запросы и дает подсказки.
2. Сокращает время, которое сотрудник ежедневно тратит на поиск.
3. Увеличивает эффективность использования данных компании — система помогает найти информацию, о существовании которой сотрудник мог не знать. Для пользователя взаимодействие с интеллектуальным поиском похоже на общение с библиотекарем, который укажет на полезную информацию, посоветует материалы по теме, сориентирует, если вы не понимаете, что именно искать для конкретной задачи.
4. Учится на запросах пользователей, со временем предоставляя все более релевантные результаты.
5. Не требует перестройки хранения информации в компании.