Лидия Виткова
начальник Аналитического центра кибербезопасности компании «Газинформсервис», к. т. н.
КОГДА СХОДЯТСЯ ЗВЕЗДЫ
Новый объект защиты:
безопасность систем ИИ на этапе эксплуатации
[1]
Прогноз на год
В прошлом году я писала прогноз на ближайший год и трехлетнюю перспективу о том, что ко многим придет осознание: значительную часть угроз для информационных систем с технологиями искусственного интеллекта можно и нужно закрывать уже существующими средствами защиты информации. Этот прогноз во многом оправдался. Судя по появившимся нормативным документам, в этом же направлении движется и регулятор.
Еще одним важным событием стало появление законодательной основы развития искусственного интеллекта в России.
Еще одним важным событием стало появление законодательной основы развития искусственного интеллекта в России.
Вступивший в силу Федеральный закон закрепил обязанность разработчиков обеспечивать безопасность суверенных и национальных больших фундаментальных моделей, а обсуждаемый национальный стандарт предлагает практические подходы к реализации этих требований. Полагаю, это означает переход от обсуждения безопасности ИИ как перспективного направления к системному регулированию. Если сегодня основное внимание уделяется безопасной разработке, то следующим логичным этапом станет обеспечение безопасности систем искусственного интеллекта уже на этапе их эксплуатации.
Эволюция объекта защиты
Жизненный цикл системы ИИ не заканчивается ее безопасной разработкой. После ввода в эксплуатацию появляются новые задачи: необходимо контролировать входные данные, используемые модели, результаты их работы, влияние этих результатов на принимаемые решения, а в ряде случаев и последующие автоматические действия системы. При этом речь идет не только о больших языковых моделях. Системы искусственного интеллекта сегодня используются для анализа сетевого трафика, обнаружения аномалий, распознавания изображений, прогнозирования, классификации событий, поддержки принятия решений и решения множества других задач.
Именно поэтому, на мой взгляд, постепенно меняется сам объект защиты. Если раньше средства защиты информации в основном контролировали пользователей, приложения, данные и сетевое взаимодействие, то теперь между данными и конечным действием появляется еще один уровень — принятие решения системой искусственного интеллекта (рис. 1). Существующие СЗИ уже способны закрывать значительную часть возникающих угроз, однако этот новый уровень пока остается лишь частично охваченным средствами мониторинга, контроля и аудита.
Отсюда и мой прогноз на ближайший год: мы начнем наблюдать появление первых специализированных решений и отдельных функциональных модулей, предназначенных для обеспечения безопасности систем искусственного интеллекта именно на этапе эксплуатации.
В первую очередь они будут ориентированы на контроль входных данных, используемых моделей, результатов работы системы, журналирование принимаемых решений и выявление аномалий в ее поведении. Часть подобных возможностей появится как развитие существующих продуктов, а часть будет предложена в виде самостоятельных решений.
При этом их задачей станет не замена традиционных средств защиты информации, а дополнение существующих механизмов безопасности контролем процессов, которые возникают только при эксплуатации систем искусственного интеллекта.
[2]
Прогноз на три года
В предыдущем прогнозе я предположила, что следующим этапом развития безопасности систем искусственного интеллекта станет появление специализированных средств защиты на этапе эксплуатации. Если тогда речь шла о ближайшем годе, то через три года изменится уже не только набор используемых решений. Я считаю, что безопасность систем ИИ постепенно станет самостоятельным направлением информационной безопасности. Как когда-то произошло с направлением защиты от информации, которую сейчас относят к когнитивной безопасности.
Вернемся к ИБ ИИ. Как мне кажется, одним из первых изменений станет развитие нормативной базы. Если сегодня основное внимание уделяется безопасной разработке больших фундаментальных моделей, то в ближайшие годы требования начнут охватывать весь жизненный цикл систем искусственного интеллекта. Методические рекомендации, требования к эксплуатации, подходы к оценке соответствия и уточнения для различных классов систем ИИ постепенно сформируют более целостную систему регулирования.
Вернемся к ИБ ИИ. Как мне кажется, одним из первых изменений станет развитие нормативной базы. Если сегодня основное внимание уделяется безопасной разработке больших фундаментальных моделей, то в ближайшие годы требования начнут охватывать весь жизненный цикл систем искусственного интеллекта. Методические рекомендации, требования к эксплуатации, подходы к оценке соответствия и уточнения для различных классов систем ИИ постепенно сформируют более целостную систему регулирования.
более целостную систему регулирования.
Следующим логичным этапом станет переход от разработки к управлению эксплуатацией систем искусственного интеллекта. Сегодня большинство организаций сосредоточено на разработке и внедрении моделей. Однако по мере роста их числа возникнут привычные для ИБ и ИТ задачи: модели потребуется учитывать, отслеживать изменения, обновлять, контролировать и своевременно выводить из эксплуатации.
В результате инвентаризация моделей, контроль версий, мониторинг, журналирование принимаемых решений и управление обновлениями станут такими же обычными эксплуатационными процессами, как сегодня сопровождение программного обеспечения или средств защиты информации. Безопасность И И перестанет быть задачей только разработчиков и станет частью повседневной эксплуатации информационных систем.
Следующим логичным этапом станет переход от разработки к управлению эксплуатацией систем искусственного интеллекта. Сегодня большинство организаций сосредоточено на разработке и внедрении моделей. Однако по мере роста их числа возникнут привычные для ИБ и ИТ задачи: модели потребуется учитывать, отслеживать изменения, обновлять, контролировать и своевременно выводить из эксплуатации.
В результате инвентаризация моделей, контроль версий, мониторинг, журналирование принимаемых решений и управление обновлениями станут такими же обычными эксплуатационными процессами, как сегодня сопровождение программного обеспечения или средств защиты информации. Безопасность И И перестанет быть задачей только разработчиков и станет частью повседневной эксплуатации информационных систем.
Изменятся не только процессы, но и сама архитектура информационной безопасности. К традиционным объектам защиты, таким как пользователи, приложения, данные и сетевое взаимодействие, добавится еще один объект контроля — функционирование систем искусственного интеллекта.
Если сегодня средства защиты отвечают на вопросы, кто получил доступ к данным, через какое приложение и по какой сети, то в ближайшие годы к ним добавится еще один: что происходит внутри системы искусственного интеллекта и насколько можно доверять принимаемым ею решениям.
Это неизбежно отразится и на самих средствах защиты информации. Уже сегодня технологии машинного обучения, нейронные сети и другие методы искусственного интеллекта применяются в SIEM, EDR, SOAR, DLP и многих других продуктах. В ближайшие годы их использование станет практически повсеместным. Это означает, что производителям придется защищать уже не только инфраструктуру заказчика, но и собственные интеллектуальные механизмы. Контроль моделей, защита данных, устойчивость алгоритмов к внешним воздействиям и возможность аудита принимаемых ими решений станут такими же обязательными требованиями, как сегодня журналирование событий или управление доступом.
Это неизбежно отразится и на самих средствах защиты информации. Уже сегодня технологии машинного обучения, нейронные сети и другие методы искусственного интеллекта применяются в SIEM, EDR, SOAR, DLP и многих других продуктах. В ближайшие годы их использование станет практически повсеместным. Это означает, что производителям придется защищать уже не только инфраструктуру заказчика, но и собственные интеллектуальные механизмы. Контроль моделей, защита данных, устойчивость алгоритмов к внешним воздействиям и возможность аудита принимаемых ими решений станут такими же обязательными требованиями, как сегодня журналирование событий или управление доступом.
По мере развития этого направления будет формироваться и единое понимание того, что сегодня называют MLSecOps. Пока этот термин трактуется по-разному: одни относят к нему обеспечение безопасности инфраструктуры машинного обучения, другие — защиту больших языковых моделей, третьи — процессы сопровождения моделей.
Однако по мере развития систем искусственного интеллекта и средств их защиты MLSecOps, вероятнее всего, начнут рассматривать значительно шире, а именно как обеспечение безопасности систем искусственного интеллекта на всем их жизненном цикле — от подготовки данных и разработки моделей до эксплуатации, мониторинга, обновления и вывода из эксплуатации. Именно тогда, вероятно, сформируется и устоявшаяся терминология нового направления. Будет ли оно называться MLSecOps, AI Security by Design или получит другое название, сегодня сказать сложно. Но само название в данном случае не так важно.
Однако по мере развития систем искусственного интеллекта и средств их защиты MLSecOps, вероятнее всего, начнут рассматривать значительно шире, а именно как обеспечение безопасности систем искусственного интеллекта на всем их жизненном цикле — от подготовки данных и разработки моделей до эксплуатации, мониторинга, обновления и вывода из эксплуатации. Именно тогда, вероятно, сформируется и устоявшаяся терминология нового направления. Будет ли оно называться MLSecOps, AI Security by Design или получит другое название, сегодня сказать сложно. Но само название в данном случае не так важно.
История информационной безопасности показывает: момент появления общепринятого термина обычно совпадает с переходом новой области к профессиональной зрелости. Думаю, в ближайшие три года безопасность систем искусственного интеллекта пройдет именно этот этап своего развития.
