Открытые системы OSP: Демократизация ИИ: какие угрозы и риски необходимо учитывать

Наши уважаемые эксперты — о рисках и угрозах для бизнеса, связанных с широким использованием ИИ, на которые следует обратить внимание при планировании проектов, нацеленных на демократизацию ИИ.

О рисках, связанных с повсеместным распространением искусственного интеллекта, сегодня говорят много. Какие из этих рисков актуальны для корпоративного сектора? Об угрозах, которые несет демократизация ИИ в компаниях, и о сопутствующих рисках, на которые следует обратить внимание, мы попросили рассказать экспертов, планирующих принять участие в ближайшем форуме «Данные+ИИ ― 2025.

Очень многие наши эксперты отметили кибербезопасность и защиту данных среди ключевых проблем, появляющихся в ходе демократизации ИИ. Корень проблемы кроется в публичных ИИ-сервисах, а точнее, в риске утечек переданных в них корпоративных данных, в том числе конфиденциальных, а также в угрозе связанных с утечками финансовых и репутационных издержек.

«Многие нейронные сети находятся за периметром компании, и сотрудник может непреднамеренно отправить вовне конфиденциальную информацию, — поясняет Михаил Комаров, директор по развитию бизнеса в области работы с данными и искусственным интеллектом дата-кластера компании «Ростелеком». — Для подобных случаев важно применять защитные меры. Так, для контроля работы с внешними сетями в “Нейрошлюз” интегрировано DLP-решение, которое анализирует информацию, отправленную пользователями. Кроме того, значительная часть нейронных сетей локализована. Чем больше нейросети будут внедряться в нашу жизнь, тем острее будет стоять проблема слишком высокого доверия к ним. Важно сохранять критическое мышление и не использовать нейросети бездумно, иначе риск искажения информации и принятия ошибочных решений будет существенным».

Никита Ильин, архитектор Visiology, предупреждает: «Обращаясь к внешним облачным ИИ-сервисам, компании рискуют не только собственными данными (поскольку возможны их утечки), но и целостностью своей ИТ-инфраструктуры. Не случайно сегодня набирают популярность локальные модели LLM — за счет удачных алгоритмов они практически не уступают открытым облачным сервисам при решении корпоративных задач, а после специального обучения могут и превосходить их».

Николай Тржаскал, директор по продуктам «Преферентум» компании SL Soft, также подчеркивает угрозу кибератак: «В частности, неправильно настроенные ИИ-системы или комплексы, построенные путем их интеграции, могут стать уязвимыми точками — это особенно критично для банковской сферы и онлайн-торговли. Кроме того, есть угроза зависимости от качества и доступности локальных решений после ухода зарубежных вендоров: российские разработчики стремятся быстрее вывести на рынок новые версии решений, нередко жертвуя тщательностью их тестирования. Такая спешка может привести к ошибкам в расчетах, сбоям в работе и снижению производительности. Нельзя забывать и о рисках, связанных со сложностью оценки окупаемости (ROI): эффект от внедрения ИИ часто бывает трудно измерить из-за длительного периода адаптации, отсутствия четких метрик и сложности прогнозирования. Однако самая серьезная, на мой взгляд, угроза — опасность завышенных ожиданий: руководители, вдохновленные успешными кейсами конкурентов, могут недооценить необходимость долгосрочного сопровождения ИИ-систем, что снижает их эффективность. Важно понимать, что если бизнес-процессы компании не готовы к внедрению ИИ, затраты могут оказаться необоснованными, а выгоды — неочевидными. Снизить риски и повысить предсказуемость результатов внедрения ИИ компаниям поможет запуск и анализ пилотных проектов, формирование четких метрик эффективности и учет дополнительных затрат на обучение, техническую поддержку и обновление технологий».

Олег Гиацинтов, технический директор DIS Group, отмечает: «ИИ, как и любой другой инструмент, может применяться с разными целями. Применение ИИ в неблаговидных целях будет приводить к увеличению числа финансового мошенничества — именно в этом я вижу основные риски, которые необходимо отслеживать и продумывать варианты их предотвращения и минимизации».

Максим Иванов, директор по развитию компании Modus, особое внимание обращает на риск применения ИИ для дискредитации бизнеса и сотрудников компании, например, с применением дипфейков. Что касается рисков утечек данных в ходе работы с внешними сервисами ИИ, то для их минимизации следует прививать сотрудникам культуру использования ИИ и обучать правилам обращения с конфиденциальной информацией. Третья группа рисков, о которой говорит Иванов, касается неточности ответов от ИИ-систем: «Ошибки в ответах на запросы к сервисам ИИ встречаются достаточно часто, поэтому информацию необходимо вручную перепроверять и дорабатывать, а иногда и перерабатывать».

Дмитрий Дорофеев, главный конструктор ГК Luxms, в список наиболее значимых угроз, вызванных демократизацией ИИ, включает непрозрачность работы нынешних ИИ-моделей, использование некачественных данных (модель, обученная на некорректных, непроверенных данных, может выдавать ошибочные результаты), нарушение прав интеллектуальной собственности на этапе обучения ИИ и в ходе последующего его использования, сокращение рабочих мест вследствие оптимизации процессов (правда, одновременно могут появляться принципиально новые вакансии), дипфейки и мошенничество, а также зависимость от ИИ: «Когда алгоритм четко выполняет свои задачи, люди утрачивают свои компетенции и мотивацию к их развитию, это может привести к критической зависимости бизнеса от технологий ИИ».

Антон Балагаев, директор по консалтингу Arenadata, делит существенные угрозы ИИ на две большие группы: угрозы от действий, ответственность за которые возложена на людей, но которые бездумно делегируют свои полномочия искусственному интеллекту, и угрозы от действий, которые полностью возложены на ИИ. «Анализируя первую группу угроз, важно помнить, что большие языковые модели созданы так, чтобы их ответы нравились людям, и в этом кроется проблема. LLM может, например, выдумать для клиента несуществующий продукт, чтобы клиент ушел довольный, или подобрать хоть какой-то продукт для нецелевого клиента только потому, что ему нужно что-нибудь предложить, — поясняет Балагаев. — Во второй группе рисков иная проблема: разработчики могут слишком полагаться на использование ответов больших языковых моделей в процессах RPA. Как правило, модели отвечают в формате, соответствующем строго определенной JSON-схеме, это делает их ответы предсказуемыми и позволяет встраивать их в полностью автоматический процесс. Однако некоторые, например, сильно модифицированные модели, недостаточно хорошо обученные и небольшие модели, работающие с непосильными для них задачами, могут „пробиваться“ через эти ограничения. Такие модели нередко „выдумывают“ новые классы в задачах классификации, галлюцинируют в цепочках размышлений и, основываясь на своих неверных выводах, принимают неверные решения или нарушают последовательность действий. Бороться с такими явлениями помогают контрольные механизмы».

Вера Краевская, генеральный директор «ВижнСервис» видит две ключевые группы рисков. Первая вызвана открытостью моделей ИИ, точнее, рисками нарушений требований регуляторов при работе с открытыми внешними ИИ-сервисами. «Решением могут быть локальные модели, такие как MTS AI Cotype, позволяющие работать внутри корпоративного периметра, а также в частных и гибридных облаках, — такой подход обеспечивает высокий уровень конфиденциальности и безопасности», — комментирует Краевская. Вторая отмеченная ею группа — это риски подлогов и уязвимостей: «Угрозы, связанные с дипфейками, провокациями и внедрением уязвимостей в алгоритмы, остаются актуальными. Важно использовать только проверенные модели, уделяя особое внимание их целостности и защите от внешних воздействий. Компании также должны регулярно проводить аудит безопасности используемых решений».

Федор Медведев, директор департамента проектных решений и поисковых систем компании Naumen, считает наиболее актуальными проблемы кибербезопасности, качества данных, а также вопросы этики и конфиденциальности данных. «Кроме того, компании могут столкнуться с нехваткой методологий внедрения ИИ, поскольку это относительно новая технология. Недостаточный опыт ее применения может привести к неэффективному использованию ресурсов и затруднить интеграцию ИИ в бизнес-процессы. Отсутствие подходов к оценке эффективности ИИ-проектов может вызвать трудности в обосновании инвестиций и оценке их окупаемости, — добавляет Медведев. — Важно учитывать и потенциальное сопротивление со стороны сотрудников. Чтобы переломить ситуацию, требуется эффективное управление изменениями и качественное обучение пользователей — это поможет облегчить их адаптацию и ускорит принятие ими новых технологий».

Сергей Галеев, руководитель отдела backend-разработки компании SimbirSoft, наиболее критические риски связывает с кибербезопасностью. «Активное использование ИИ увеличивает поверхность атаки, поскольку злоумышленники могут воспользоваться недостатками в архитектуре, реализации или эксплуатации ИИ-систем. Важно инвестировать в защиту инфраструктуры и постоянно обновлять меры безопасности, — поясняет Галеев. — Еще одна потенциальная проблема — предвзятость алгоритмов: модели ИИ, обученные на некорректных или ограниченных данных, могут предлагать ошибочные выводы и решения. Вспоминаются, например, случаи, когда автономный автомобиль Uber сбил пешехода из-за неправильной идентификации видимых объектов, а автопилот Tesla допускал аварии из-за неверной интерпретации дорожных условий».

Александр Борисов, руководитель направления Data Science RAMAX Group, склонен связывать основные угрозы ИИ для бизнеса с завышенными ожиданиями (якобы ИИ заменит всех сотрудников), недоверием к прогнозам и выводам ИИ, вызванным непрозрачностью моделей и зависимостью прогнозов ИИ от данных (обучение на неполных или неверных данных усилит риск неверных результатов), а также проектными рисками при внедрении ИИ. «Во всех этих случаях следует использовать план по митигации рисков, адаптированный под конкретную проектную среду и архитектуру предприятия», — рекомендует Борисов.

«С одной стороны, компании уверенно фиксируют экономическую выгоду от внедрения ИИ, с другой — существуют реальные вызовы, связанные с безопасностью и защитой чувствительных данных, — комментирует Константин Саратцев, директор по продукту компании Insight. — Этот факт риска будет существовать всегда. Подходы к управлению этим риском требуют постоянного мониторинга, внедрения новых инструментов защиты и обучения персонала, чтобы вовремя предотвращать технические сбои и ошибки, вызванные человеческим фактором».

Александр Ефимов, исполнительный директор практики продвинутой аналитики GlowByte, предостерегает от этических и репутационных рисков, киберрисков, зависимости от технологий и нормативной неопределенности: «Важно понимать, что этих угроз можно избежать при наличии правильной стратегии и подготовки. Чтобы минимизировать этические и репутационные риски, следует внедрять принципы прозрачности и регулярной проверки моделей ИИ: встраивать в процессы независимые аудиты данных, обучать сотрудников работе с технологиями на „этично-корректных“ условиях и, конечно же, обеспечивать прозрачность управления циклом разработки, валидации, эксплуатации и мониторинга моделей ИИ путем автоматизации этих процессов. Минимизировать киберугрозы помогут резервное копирование данных и регулярное обновление систем безопасности. Полезно также выстроить процессы регулярного тестирования ИИ-моделей на устойчивость к угрозам искажения и подмены данных в них. Снизить зависимость от провайдеров поможет гибридный подход: следует совмещать готовые решения и развивать внутренние центры компетенций. Чтобы учитывать риски регуляторных требований, крайне важно поддерживать контакт с экспертами в области законодательства, касающегося ИИ, и отслеживать изменения. Следует консультироваться с юристами уже на начальных этапах внедрения решений на базе ИИ — на стадии их проектирования. И, конечно, нужно четко понимать, какие бизнес-задачи ставятся при внедрении ИИ — в противном случае организации рискуют не только потратить ресурсы впустую, но и нанести себе прямой финансовый ущерб».

«Основными угрозами для бизнеса все еще являются ошибки ИИ (галлюцинации) и связанные с ними репутационные риски, — уверен Григорий Шершуков, директор по продуктам компании „Наносемантика“. — Также к рискам можно отнести киберугрозы и атаки, что часто решается использованием закрытого контура на локальном оборудовании заказчиков. Нужно не упускать из виду и этические вопросы применения автоматизированных ассистентов для общения с клиентами — иногда эти роботы пытаются „замаскироваться“ под сотрудников».

«Основными угрозами для бизнеса все еще являются ошибки ИИ (галлюцинации) и связанные с ними репутационные риски, — уверен Григорий Шершуков, директор по продуктам компании „Наносемантика“. — Также к рискам можно отнести киберугрозы и атаки, что часто решается использованием закрытого контура на локальном оборудовании заказчиков. Нужно не упускать из виду и этические вопросы применения автоматизированных ассистентов для общения с клиентами — иногда эти роботы пытаются „замаскироваться“ под сотрудников».

Светлана Кабалина, ИИ-специалист и аналитик ГК Webit, связывает один из ключевых рисков с особенностями обучения моделей ИИ: «Каждая модель тренируется на конкретном наборе данных — возможно, очень большом, но все равно ограниченном. Это приводит к тому, что точность и надежность получаемых от ИИ-модели ответов варьируется в зависимости от темы запроса, причем в ответах по узким темам или новым областям знаний качество ответов снижается существенно. Особую осторожность следует проявлять и в отношении галлюцинаций ИИ, это особенно критично в ситуациях, где достоверность информации очень важна — например, в медицинских консультациях, финансовых рекомендациях или технологических процессах. Еще один спектр угроз формируется вследствие применения ИИ для генерации реалистичных голосовых клонов, дипфейков и персонализированных фишинговых сообщений — здесь перед злоумышленниками открывается широкое поле возможностей. Особую опасность представляет способность ИИ к анализу больших объемов данных — она позволяет мошенникам выявлять потенциально уязвимые группы людей, адаптировать под них свои схемы обмана и атаковать одновременно тысячи потенциальных жертв, создавая для каждой из них иллюзию персонального общения. И, конечно, необходимо уделять особое внимание вопросам информационной безопасности и защиты данных. Рекомендуется внедрить многоуровневую систему проверки данных перед их отправкой в ИИ-сервисы, включающую, например, автоматическую фильтрацию конфиденциальной информации, обучение сотрудников правилам работы с ИИ-инструментами и регулярный аудит используемых данных. Особо чувствительные задачи следует решать с использованием локального развертывания ИИ-моделей». Оптимальным Кабалина считает гибридный подход, где ИИ выступает в роли цифрового помощника, а финальные решения принимаются специалистами или проходят с их стороны обязательную проверку.

Нынешние особенности генеративного ИИ, по мнению Дмитрия Гольцова, заместителя генерального директора компании «Мегапьютер», объясняются новизной данной технологии: «Ей сегодня свойственны „детские“ болезни, самая явная из которых — проблема галлюцинаций. Между тем, есть критически важные задачи (например, выявление нежелательных явлений в истории болезни пациента), где у вас не должно быть вообще никаких галлюцинаций, потому что ошибка здесь может иметь самые пагубные последствия. Сейчас даже самые продвинутые модели генеративного ИИ не готовы к применению в критичных задачах в режиме самостоятельной работы без контроля со стороны человека».

Александр Костюков, менеджер продукта Easy Report компании Sapiens solutions, предлагает проверять достоверность получаемых от ИИ данных и предлагаемых решений, пропуская их сквозь призму критической интерпретации: «Если используемое решение базируется на генеративном ИИ с минимумом детерминированной логики, то велика вероятность галлюцинаций и искажения фактов. Чтобы минимизировать их влияние, к автоматизируемым на базе ИИ процессам нужно приставить ответственных сотрудников — владельцев процессов, чтобы они отслеживали функционирование механизма ИИ». Еще одним значимым риском демократизации ИИ Костюков называет риск саботажа со стороны пользователей: «Внедрение какого-нибудь ИИ-ассистента может фактически остановить бизнес-функцию или деятельность целого отдела. Чтобы этого не происходило, необходимо заранее продумать, как обучить сотрудников эффективной работе с использованием ИИ-инструментов и чем занять тех, кто высвобождается в результате их внедрения».

Как видим, среди перечисленных экспертами рисков и угроз, связанных с демократизацией ИИ, есть как временные, вызванные недостаточной зрелостью ИИ и методологий его применений, но есть и постоянные, которые придется учитывать на протяжении долгого времени. Что важно, далеко не все риски минимизируются чисто техническими методами — на часть из них прямое влияние оказывает человеческий фактор, и здесь без серьезной работы с персоналом не обойтись.

Фото: Открытые системы OSP