Лидия Виткова
Безопасность ИИ:
настоящее и будущее новых продуктов в ИБ
Начальник аналитического центра компании «Газинформсервис», к. т. н.
КОГДА СХОДЯТСЯ ЗВЕЗДЫ
Прогноз на 1 год
В прошедшем 2024 году и в первой половине 2025 мы все наблюдали за развитием новой темы в информационной безопасности (ИБ), а именно безопасности информационных систем с технологиями искусственного интеллекта (ИИ). Развивался проект OWASP, появились новые каналы в Телеграме на темы, близкие к MLSecOps, к ИБ ИИ, и в 2025 году вышла модель угроз для кибербезопасности AI от ПАО «Сбербанк». Каждый участник, эксперт, а также команды за последние два года внесли весомый вклад в развитие этой темы. Как минимум ее уже не отменить. Но на данный момент есть понимание, что технологии искусственного интеллекта, как и любые другие, могут нести в себе угрозы. Пока нет продуктов, которые бы могли стать наложенными средствами защиты. Или есть?
В своем прогнозе я в очередной раз буду оптимистом и скажу, что в течение ближайшего года многие осознают, что текущие средства защиты информации, методы, подходы применимы для защиты информационных систем, в которых есть искусственный интеллект. Оставим пока за рамками вопросы о том, как ограничить возможности использования ИИ в интересах атакующих (никак). В сторонке пусть пока постоит и проблема противодействия распространению искусственного контента. В этой заметке я хочу показать, как существующие средства защиты смогут встать на защиту технологий ИИ.
Как же тогда защищать такие решения и в чем их отличия от других информационных систем?
Давайте предположим, что мы смотрим на некоторую информационную систему, у которой есть интерфейс, есть API, есть брокер управления потоками, есть встроенные нейронные сети, в них что-то происходит, часть служебной информации сохраняется в какой-то базе данных, часть текста векторизуется и сохраняется в другой базе данных, а потом есть также модуль, в который встроена большая языковая модель, и она что-то обучена создавать и отдавать обратно в интерфейс пользователю. И таких простых описаний информационных систем, в которых используются технологии ИИ, можно создать много.
Обратимся к модели угроз (можно к той, что была разработана в Консорциуме исследований безопасности ИИ, или к той, которую предложил «Сбербанк»). Все модели учитывают жизненный цикл разработки технологий ИИ. Но когда система уже в режиме эксплуатации, то можно оставить часть угроз. Ниже представлены угрозы из матрицы, созданной в Консорциуме исследований ИБ ИИ. Пока будем считать список полным и ждем обновлений.
Угрозы из матрицы Консорциума ИБ ИИ:
- Деградация модели или сервисов, предоставляемых на ее основе;
- Утечка конфиденциальных данных;
- Неограниченное потребление вычислительных ресурсов моделью;
- Использование конфиденциальных данных в сис темных инструкциях;
- Неограниченный доступ к ПО с моделью при отсутствии контроля входных и выходных данных модели;
Угрозы из БДУ ФСТЭК:
- Угроза раскрытия информации о модели машинного обучения;
- Угроза хищения обучающих данных;
- Угроза нарушения функционирования («обхода») средств, реализующих технологии искусственного интеллекта;
- Угроза модификации модели машинного обучения путем искажения («отравления») обучающих данных;
- Угроза подмены модели машинного обучения.
И вот очевидным становится, что все те СЗИ, которые применимы для защиты от утечек, защиты конфи денциальности, доступности, целостности могут быть уже сейчас донастроены. И только малая часть угроз из всех списков потребует новых решений. Поэтому мой прогноз будет такой: в ближайший год мы увидим, как существующие вендоры предлагают решение задач безопасности информационных систем, в которые встроены или в которых используются технологии ИИ для обеспечения защиты наложенными средствами.
А как быть с методами? Предлагаю посмотреть на Приказ Федеральной службы по техническому и экспортному контролю от 11.04.2025 № 117 «Об утверждении Требований о защите информации, содержащейся в государственных информационных системах, иных информационных системах государственных органов, государственных унитарных предприятий, государственных учреждений». Пока это только один новый приказ, но ведь будут и еще. А этот во многом является примером; оценка защищенности, инвентаризация, контроль конфигураций, повышение осведомленности пользователей — все это также обязательно и применимо для обеспечения безопасности в эпоху становления и расширения технологий ИИ.
Прогноз на 3 год
Часто стратегические программы в стране выстраиваются на перспективу на пять лет. Но есть такие требования, вытекающие из национальной стратегии развития искусственного интеллекта, по которым после 2027 года технологии ИИ, использующиеся в государственных информационных системах и на объектах КИИ, должны быть уже доверенными и находиться в реестре доверенных технологий ИИ. И поэтому, если делать прогноз на развитие продуктов ИБ, предположу, что через три года многие СЗИ будут иметь интеграции с доверенными технологиями ИИ.
Чтобы защититься от атакующих, которые усиливаются за счет использования новых технологий, надо также развиваться и внедрять ИИ в существующие СЗИ.
Вроде бы очевидно, что защищать технологии ИИ потребуется. Но и внедрять их активно в информационную безопасность также придется. Давайте представим, что есть абстрактная система мониторинга (это может быть SIEM, DLP, SOAR): конечно, по целевой функции системы не схожи, но через три года в каждую будет встроен ассистент, будет подключена векторная база данных и большая языковая модель. Для того, чтобы можно было управлять запросами, скорее всего, будут использоваться малые агенты, из интерфейса надо как-то собрать текст, из хранилищ с логами — данные, и все это предобработать, преобразовать; значит, будут еще какие-то технологии и для этого. А где-то встроят модели обнаружения аномалий и атак в сетевом трафике (если вдруг этого еще не было, что странно даже для 2025-го), модели для распознавания атак на данные с операционной системы по данным от датчиков и т. д.
За три года не получится резко сделать всех специалистов понимающими хоть что-то в метриках эффективности технологий ИИ. Ну вот спрашивает оператор: «А что значит Precision — 0.8743, Recall — 0.7002 и F-measure — 0.7776 для GLiNER на синтетическом наборе данных в документации к СЗИ?» (метрики иллюстративны, они взяты из научного проекта, в котором проверялась гипотеза). Тот, кто разрабатывал модель, может дать ответ в документации, но будут нюансы. Например, часть математиков для ответа на вопрос, какая эффективность у модели, будет приводить эти метрики с цифрами, а без описания постановки задачи и алгоритмов не всегда можно понять, стоит ли включать такой анализатор в СЗИ.
“
Нужен цифровой ассистент для того, чтобы помогать использовать СЗИ, и хорошая, на самом деле, была идея назвать такое решение вторым пилотом. Так что, прежде всего, в СЗИ быстро встроят таких вторых пилотов
Что еще, как бы это странно ни звучало, — будет больше цифровых ассистентов. Но если оглянуться по сторонам, то также появится больше моделей распознавания текста, больше решений для анализа изображений и больше решений для автоматизации рутинных задач пользователей. А значит, будет прирост функционала у систем, которые также анализируют поведение пользователя (сервиса, хоста). Больше алгоритмов для анализа больших данных и ретроспективного поиска. И для этого когда-то (я думаю, что уже скоро) потребуются новые подходы к управлению большими данными.
Все уже привыкли к потоковым архитектурам, к озерам данных, к ванильному Hadoop’у и прочим стекам, а что, если мы соберем всю информацию для работы цифровых ассистентов и нам потребуется развернуть их на серверах в защищенном контуре объектов КИИ или ГИС? И как тогда делать достаточное количество копий виртуальных машин, баз данных, больших языковых моделей (например, DeepSeek весит более 700 Gb)? А как передавать наборы данных, на которых обучаются системы, и как их защищать? Вот этот вопрос, я думаю, встанет перед профессиональным сообществом уже скоро достаточно остро, но через три года появятся новые технологические стеки и доверенные технологии ИИ в России. Подождем.
