www.cio.ru: Когнитивная система в «Газпром нефти»: эксперт для экспертов

О том, что дает компании «умный поиск», рассказал руководитель проекта в Научно-техническом центре «Газпром нефти» Евгений Кирьянов, номинант на премию CDO Award 2019.

Объемы информации, необходимой для принятия решений, непрерывно растут. Но при этом нельзя допустить, чтобы на поиск необходимой пользователю информации уходило много времени. Информационные технологии, используемые в Научно-техническом центре «Газпром нефти» (НТЦ), позволяют создавать новые инструменты анализа и быстро находить нужные данные.

В НТЦ разрабатывают эффективные технологии добычи нефти на основе самых современных научных исследований. Еще одно важное направление деятельности компании, которым занимаются сотрудники Центра управления бурением «ГеоНавигатор» в Санкт-Петербурге — сопровождение высокотехнологичных скважин, расположенных не только в России, но и за рубежом.

В прошлом году здесь реализовали проект «Система когнитивного поиска», который способен поднять на качественно новый уровень работу сотрудников всей компании. О том, что дает компании «умный поиск», рассказал руководитель проекта в Научно-техническом центре «Газпром нефти» Евгений Кирьянов, номинант на премию CDO Award 2019.

— В чем суть задачи, которую решает этот проект?

Для нас, как и для любой наукоемкой компании, крайне важны исследования, связанные с решением повседневных бизнес-задач и преодолением технологических вызовов. Наши сотрудники постоянно нацелены на поиск новых решений, подходов и знаний. Чтобы осилить такие задачи, надо обращаться как к внешнему отраслевому опыту, так и к внутреннему опыту, накопленному сотрудниками компании.

Проанализировав имеющиеся базы данных и источники информации, мы увидели следующее. Во-первых, неизвестно, в какой из множества систем находятся искомые знания и ответы на вопросы. Во-вторых, сотруднику тяжело быстро найти информацию, требующуюся ему немедленно. Когда архивы измеряются сотнями терабайт и включают сотни тысяч документов, пользоваться стандартными локальными инструментами поиска в приложениях затруднительно.

Сначала мы попробовали построить поисковую систему на основе технологии Microsoft Share Point, но очень быстро выяснилось, что даже с ручным управлением, составлением словарей синонимов и настройкой фильтров стандартный поиск не справляется.

Поэтому мы решили создать собственную поисково-аналитическую систему, которая помогла бы сотрудникам максимально быстро находить ответы на свои вопросы и повысила бы эффективность экспертного сопровождения. Первая задача, которую мы перед собой поставили, — создание единой платформы для преодоления разрозненности источников данных, вторая — когнитивность поиска.

— Почему понадобилась именно когнитивная система?

Если документов немного, мы можем использовать поиск на базе совпадения слов, но когда число документов близится к миллиону, система выдает слишком много результатов. При этом в поисковой выдаче нет ранжирования по тому параметру, который важен сотруднику именно сейчас.

Система когнитивного поиска работает по-другому. Она сравнивает не буквы в словах, а смысловые значения слов, предложений и целых текстов, учитывает морфологию слов в запросе, понимает сокращения и специализированные термины. И например, по запросу «легкие фракции нефти» она выдаст результаты со словами «бензин» и «керосин». Даже если мы по-разному пишем одни и те же термины, система очень быстро сама обучается и понимает, что написанное по-русски и по-английски — это одно и то же. Система также работает с функциональными онтологиями, понимает вложенность терминов. В результате обучения нейронных сетей нашими экспертами система понимает из контекста документа, что это вложенные термины с разными написаниями.

Когнитивный поиск позволяет задавать вопросы с уточнениями и получать сфокусированные ответы, а фильтрация — оставлять в поисковой выдаче документы, удовлетворяющие нужным пользователю параметрам. Например, можно выбрать несколько конкретных источников данных или оставить только документы заданного типа.

— Подстраивается ли система под запросы конкретного пользователя? Вы создаете свой внутренний Google?

Сравнивать ее с Google и «Яндексом» я бы не стал, у нашей поисковой системы иные задачи. Мы только развиваем персонализацию и планируем в этом году сделать ее качественной. Дело в том, что наши сотрудники занимаются абсолютно разными вещами. Даже геологи, сидящие в одном отделе, могут решать совершенно разные задачи. Например, одни по стандартной модели рассчитывают запасы, а другие — развивают искусственный интеллект и нейронные сети в геологии. Соответственно, одним система должна выдавать более фундаментальную геологическую информацию, а другим — скорее «айтишную» или на стыке геологии и ИТ. То есть без персонализации работа системы не будет достаточно эффективной.

— Как вы выбирали подход к решению задачи?

Мы познакомились с имеющимися российскими и международными разработками, причем активно изучали опыт не только нефтяных и энергетических компаний, но и интернет-ретейлеров, поскольку в этом бизнесе поиск ощутимо влияет на результат. Затем провели несколько экспериментов, осуществили пилотное внедрение в офисе НТЦ в Санкт-Петербурге и принялись за разработку собственного решения совместно с компанией Nаumen. На реализацию проекта ушло 10 месяцев.

— Какие данные использует система и какова стратегия их сбора?

Объем внутреннего файлового хранилища «Газпром нефти» превышает сотни терабайт. Кроме него в первом прототипе системы мы использовали наборы данных из внешних онлайн-ресурсов, в совокупности около 70 тыс. документов.

В дальнейшем начнем расширять перечень внешних источников — примерно до ста, добавим также ресурсы, которые наши эксперты используют в своей работе.

— Какими технологическими средствами вы решали поставленную задачу?

В основе лежит система ElasticSearch, многое было разработано на языке Scala. Использованы и другие свободно распространяемые программные продукты, а также решения Naumen.

Поиск — это внутреннее клиент-серверное приложение, доступное сотрудникам в виде веб-сайта на корпоративных ПК или удаленно с личных ноутбуков. Сейчас единая поисковая платформа объединяет несколько сайтов, и мы работаем над ее расширением.

— Какие были основные сложности в ходе проекта, как их преодолевали?

Взаимодействие с любыми поисковыми системами выстраивается постепенно, вначале люди не доверяют возможностям технологии. Мы помним это по опыту взаимодействия с «Яндексом» и Google: несколько лет назад мы вбивали в строку запроса лишь одно-два слова, поскольку знали, что если введем предложение, то ничего в ответ не получим. Теперь мы спрашиваем все, что придет в голову, — и именно такое качество мы намерены развивать в своей системе.

Пользователи уже начинают больше доверять корпоративной системе: раньше поисковые запросы были в одно-два слова, сейчас длина запросов растет.

Технические сложности были из-за качества, а также разнородности входных данных (новости, НМД, книги, проекты и т. д.) и их источников (система распространения знаний, внешние ресурсы, сетевые папки). Качество отсканированных документов было очень разным, многие документы были «зашумлены», требовалась очистка, удаление нечитаемых фрагментов и нераспознанного текста.

— В какой срок вы рассчитываете накопить объем запросов, достаточный для интеллектуального роста системы?

У нас нет этой проблемы, потому что нам не требуется такого количества запросов, как у Google. Мы избегаем «холодного» старта, характерного для систем машинного обучения, базирующихся на сборе информации без «учителя». Например, новому геологу, введенному в нашу систему, мы дадим модель, уже обученную для другого сотрудника с наиболее близким функционалом. Мы проводили экспертное обучение, то есть подаваемые в систему материалы уже размечены, проанализированы экспертами и «готовы к употреблению». Поэтому острой нужды в накоплении большого количества данных нет. Тем не менее мы рассчитываем на то, что через год система будет работать гораздо лучше, чем сейчас, потому что она еще и самообучается.

— Каких результатов вам удалось достичь?

По экспертной оценке, сотрудники занимаются поиском информации и каких-либо документов по 30–50 минут в день. Мы сократили это время практически вдвое и надеемся еще улучшить результат. Время сотрудников высвобождается, и это дает компании существенный экономический эффект. Кроме того, благодаря точности и полноте результатов поисковой выдачи повысилась эффективность принятия решений.

И еще один важный итог. Мы провели эксперимент: две группы сотрудников получили задачу по определенному направлению и доступ к системе умного поиска для ее решения. При этом ни в одной из групп не было специалиста по данному направлению. И участники обеих групп решили задачу на таком уровне, который позволил применить их решение в компании. Оказалось, что система может выступать в роли эксперта в тех ситуациях, когда пользователь не знает точно, что ему делать. С помощью «умной системы» он может найти ответы на свои вопросы и решить задачи, с которыми не сталкивался прежде. Найти в Интернете видеоинструкцию и сразу сделать хорошо то, что делаешь впервые, сегодня уже не проблема.

Когнитивная система служит для управления знаниями и их трансфера между подразделениями.

— Как планируется дальше развивать этот проект, помимо персонализации поиска?

Мы уже начали распространять решение на весь холдинг, скоро откроем его всем сотрудникам. Будем расширять возможности подключения к платформе по API других приложений и источников знаний. Намерены развивать инструмент, позволяющий делать аналитику на основе семантики запроса. Хотим сильно продвинуться в создании знаний, которых не существовало до запроса. То есть, анализируя несколько источников, система должна уметь собрать из множества документов один и предоставить его в ответ на запрос пользователя.