Naumen Machine Learning: предиктивная аналитика и анализ данных

Предиктивная аналитика: прогнозирование событий, сбоев, ресурсов

Прогнозирование инфраструктурных сбоев и своевременное уведомление заинтересованных лиц о возможной проблеме является первоочередной задачей повышения надежности любой системы, построенной на исследуемой инфраструктуре.

Целью проекта является создание рабочей модели прогнозирования сбоев в ИТ-инфраструктуре Заказчика на основании данных о предыдущих сбоях в данной инфраструктуре и поступающих данных систем мониторинга. Успешное решение задачи позволит принимать меры, направленные на предотвращение инцидента, до его непосредственного возникновения, тем самым минимизируя время простоя критических для бизнеса систем.

Особое внимание в прогнозировании уделено интерпретируемости результатов модели, т.к. информация о возможном инциденте не будет полезной без указания его причин и возможных путей решения или предотвращения.

Глобальная задача прогнозирования сбоев условно разбита на два этапа:

1. Прогнозирование значений метрик (временных рядов), связанных с состоянием ИТ-ресурсов Заказчика.
2. Классификация предсказанных значений метрик на возможность возникновения инцидента.

Для прогнозирования значений метрик используются алгоритмы Хольта-Винтерса, ARIMA, SARIMA. Эти алгоритмы основываются на идее, что каждое следующее значение метрики является линейной комбинацией какого-то предыдущего числа значений и “белого шума” (случайная последовательность независимых друг от друга значений с математическим ожиданием равным 0 и константной дисперсией). К сожалению, при переходе от модели к минимальноценному продукту возникли проблемы с настройкой этих алгоритмов – для каждого из них необходимо подбирать набор коэффициентов, описывающих предсказываемый процесс. В промышленных объемах ручная оптимизация алгоритмов невозможна из-за большого количества процессов, автоматическая же не дает гарантии точности полученного результата. Поэтому было решено использовать алгоритм регрессии из популярного пакета XGBoost. Этот алгоритм лишен недостатков предыдущих, т.к. для предсказания значения использует результат параллельного выполнения многих деревьев решений, т.е. является так называемым ансамблем моделей машинного обучения.

Для предсказания инцидента на промежутке времени также использовался алгоритм из уже зарекомендовавшего себя пакета XGBoost, в этом случае – бинарный классификатор. Для обучения классификатора используется агрегированная история всех временных рядов с разметкой в завивимости от факта возникновения инцидента на этом промежутке.

В итоге общая задача решается в результате работы обеих частей:

1. Модель регрессии для каждой метрики предсказывает следующие значения этой метрики на определенный промежуток времени.
2. Агрегированные предсказанные значения метрик передаются в классификатор для определения вероятности возникновения инцидента.

Анализ данных: кейс для нефтегазовой отрасли

Задача определения технического предела работы нефтедобывающего оборудования в зависимости от технических характеристик или внешних факторов и условий применения оборудования является одной из стратегических задач для нефтедобывающих компаний.

Успешное решение данной задачи позволяет оптимизировать планирование закупок составных частей оборудования, профилактических работ и распределение рабочей силы, что в свою очередь помогает сократить срок простоя нефтедобывающего оборудования.

Данная задача может быть решена различными методами: с помощью анализа временных рядов, классическими методами машинного обучения, а также при помощи анализа выживаемости. Важной составляющей задачи является включение в модель факторов среды, т.е. показателей состояния скважины, наряду с показателями состояния основных узлов нефтедобывающего оборудования и оценка влияния всех факторов на технический предел работы оборудования.

Проблематика применения классических регрессионных методов для определения факторов, влияющих на технический предел работы оборудования, состоит в том, что время жизни (время работы оборудования до отказа) не являются нормально распределенным. Методы непараметрической регрессии, к которым относятся, в частности, регрессионные деревья принятия решений и модель пропорциональных интенсивностей Кокса, не предполагают ограничений на распределение переменных в модели, поэтому выбраны для решения поставленной задачи. Важным условием решения поставленной задачи является интерпретируемость построенной модели, поскольку решение должно предоставить гибкий инструмент, помогающий специалистам разного уровня принимать решения при обслуживании нефтедобывающего оборудования. Регрессионные деревья принятия решений позволяют получать интерпретируемую модель в рамках заданных ограничений на количество узлов и листьев. Модель пропорциональных интенсивностей Кокса также является интерпретируемой и позволяет получить оценку влияния каждой из переменных на срок работы оборудования до отказа.

Ключевыми составляющими решения поставленной задачи, являются:

• сбор и агрегирование разнородных данных, генерируемых системами нефтедобывающего оборудования и различными учетными системами нефтедобывающих предприятий;
• создание интерпретируемой модели прогноза технического предела работы оборудования на основе полученных данных;
• разработка систем мониторинга основных факторов, влияющих на предел работы оборудования, на основе построенной модели прогноза.