Безопасность ИИ
Дмитрий Служеникин
Советник по специальным проектам Национального технологического центра цифровой криптографии
КОГДА СХОДЯТСЯ ЗВЕЗДЫ
Прогноз на 1 год
Современные технологии искусственного интеллекта несут в себе как огромное количество плюсов при широком внедрении в цифровые платформы государства, общества и бизнеса, так и минусы. Я разделю прогнозы на две части:
  • Что можно ждать хорошего в течение года в безопасности ИИ.
  • Что можно ожидать плохого в течение года.
Но во втором случае я скорее сделаю акцент на не саму безопасность ИИ, а на последствия, с которыми мы можем столкнуться в связи с тем, что технологии ИИ внедряются, но пока что недостаточно хорошо защищены. Предлагаю начать с «кошмаров», а приятные прогнозы оставить на десерт.
Что можно ожидать плохого в течение года
Пример первый. Атаки на цепочки поставок, но другие, не такие, с которыми мы ранее сталкивались. Приведу пример: допустим, существует некоторая цифровая платформа, через которую обеспечивается логистика продуктов питания, в связи с геополитической обстановкой выстраиваются новые каналы доставки до клиента или до складов. На цифровой платформе внедрены модели машинного обучения, нейросети, на основании которых аналитики делают свои расчеты и прогнозы и формируют сделки.
Атакующий проникает в IT-инфраструктуру и меняет данные на вход в модели, меняется выход. Системы MLSecOps пока что не внедрены в жизненный цикл моделей машинного обучения на той самой цифровой платформе, и никто не замечает подмены данных. Аналитики продолжают делать прогнозы, формировать сделки, и… в течение текущего года мы видим сбой в продуктовой безопасности страны.
Без обеспечения системы контроля вводных данных, формирования «фильтра» от «отравленных» данных и контроля дрейфа результата применение систем с технологиями ИИ — крайне опасная затея
Пример второй. Недостаточное количество доверенных наборов данных. Все привыкли за время развития технологий ИИ опираться на публичные наборы, однако когда мы переходим к созданию собственных решений, то публичные наборы и синтетика не всегда подходят, требуются качественно размеченные наборы данных. А платформ для наборов и технологий разметки пока нет, это тормозит развитие технологий ИИ. Пока разработчики приложений будут брать публичные наборы за основу, достоверность, точность, эффективность получаемых результатов от приложений с ИИ будет под сомнением.
Пример третий. Волны информационно-психологических операций через социальные сети, мессенджеры, где противник манипулирует массовым сознанием и провоцирует панику, например, на продовольственном рынке. Все бегут покупать заканчивающийся продукт, и цены на него растут, происходят сбои поставок и хранения, не выдерживают искаженного спроса на товар логистические цепочки. А начинается такая информационно-психологическая операция с генерации фейковых данных с помощью большой языковой модели и вброса медиаконтента в информационное поле.
Пример четвертый. Это утечка данных через использование иностранных сервисов доступа к LLM или через использование общественных площадок доступа к иностранным ML; пользуясь чат-ботом или иным доступом к иностранным LLM, вы передаете данные, персональные, или финансовые, или любые иные данные, в ту среду, где не сможете обеспечить их конфиденциальность, и, как следствие, подготовленные на их основе целевые фишинговые атаки с высокой долей вероятности достигнут своих целей.
Пятый пример. Активный рост Deepfake. Все мы помним недавние безумные очереди за гречкой или солью, при этом кризис не был обусловлен объективными причинами, а был полностью спровоцирован простыми спекуляциями в новостном поле. А с учетом взрывного и качественного роста технологий Deepfake, которые не поддаются полноценному оперативному распознаванию неспециалистами, может привести к значимому непрогнозируемому дефициту любого продукта, не обусловленного реальными причинами.
Надеюсь, я всех хорошо напугал и на этой радостной ноте перехожу к приятным прогнозам.
Что можно ждать хорошего в течение года в безопасности ИИ
Конечно же, стоит ожидать того, что появится методика оценки рисков безопасности приложений ИИ. Уверен, что могут появиться нормативные документы, методы защиты безопасности ИИ, в том числе и от таких атак, которые я описал выше. Также уверен, что появятся платформы с наборами данных, и генераторы, и доверенные наборы.
Предполагаю, что за год сильно вырастет сообщество профессионалов, которые делятся своими наработками, и экспертов, готовых консультировать IT- и ИБ-сообщество. Уверен, что будет увеличиваться число доступных в облачных сервисах MLOps инфраструктур, появятся элементы или первые релизы решений в MLSecOps.
Предположу, что могут появиться новые онлайн-курсы и программы для повышения компетенций в обеспечении безопасности приложений с ИИ в IT и в информационной безопасности
Думаю, что все больше мы увидим агроинноваций, то есть внедрения новых технологий ИИ в сельском хозяйстве для оптимизации производства, так как это действительно может улучшить устойчивость к внешним факторам и в том числе компенсировать недостаток в персонале. Чем больше будет внедрений, тем чаще будут специалисты по ИБ сталкиваться с совершенно новыми видами атак, и это, конечно же, стимулирует развитие технологий безопасности ИИ в России.
Подведу итог: есть много хороших и плохих прогнозов, которые станут реальностью в ближайшем году, но хорошо, что мы готовимся и уже задумались о безо­пасности ИИ.
Прогноз на 3 года
Два полярных поля в развитии ИИ
В прогнозе на три года я пойду по тому же маршруту, что и в прогнозе на один год. В начале кошмарим, потом обнадеживаем.
Что можно ожидать плохого через три года в безопасности ИИ
Я буду писать так, как будто бы сбылся пессимистичный прогноз, и мы наблюдаем за последствиями.
Предположим, что до 2027 года в стране не появилось никаких нормативно-правовых актов, законов, регулирующих как использование ИИ, так и безопасность приложений с ИИ. Данные пользователей беззащитны, постоянно утекают, доступны необезличенные и неанонимизированные наборы данных. Легко можно достать информацию о жизни, привычках, друзьях, работе и других личных характеристиках любого индивида в стране; мошенники и киберпреступники всех атакуют, и для них нет препятствий, так как утечки персональных данных никак не регламентированы для технологий ИИ.
Также нет никаких нормативно-правовых актов, ограничивающих возможные утечки конфиденциальной информации через ИИ, данных об объектах критической инфраструктуры, и любая, даже автоматизированная атака легко достигает успеха.
Предположим, что в анализе микро- и макроэкономических показателей, в ходе составления прогнозов по продуктовой безопасности, все опираются на наборы данных, созданные в других странах, и картина у управленцев искаженная, но они доверяют полученным цифрам и принимают неверные решения. В итоге страдает как все государство в целом, так и отдельные граждане страны. Но ведь нет систем проверки достоверности данных, верификации оценки эффективности, и понять, в какой момент произошло искажение данных, не представляется возможным.
Или вот еще кошмарный сценарий на три года: предположим, что в стране не начали в 2023—2024 годах развивать свои отечественные технологии ИИ, и все сферы экономики, IT, безопасности оказались в полной зависимости от иностранных сервисов. Все используют зарубежные генеративные технологии, и в итоге растет внутреннее противоречие в обществе, зависимость всей страны от возможных проявлений экономических войн, санкций и ограничений.
В очередной раз, надеюсь, я всех хорошо напугал, и теперь я предлагаю оптимистичный прогноз.
Что можно ждать хорошего через три года в безопасности ИИ
Сформулированы требования к безопасности технологий искусственного интеллекта, разработаны методические указания по тестированию и по оценке защищенности таких систем. Создан, согласован и проверен некоторый кодекс этики при использовании приложений с ИИ, разработаны рекомендации и стандарты, регулирующие ответственность разработчиков технологий ИИ.
Разработаны, протестированы и широко используются средства, обеспечивающие кибербезопасность самих моделей машинного обучения, нейросетей, генеративных моделей от кибератак, широко используются технологии мониторинга и контроля эффективности технологии ИИ.
Развиваются технологии объяснимого ИИ (XAI), и это позволяет лучше понять и контролировать процессы, происходящие внутри ИИ-систем, в итоге растет доверие к таким решениям и уровень их киберустойчивости и безопасности.
На протяжении трех лет развивались и увеличивались инвестиции в развитие технологий искусственного интеллекта, что привело к появлению отечественных уникальных решений, и в результате в разы уменьшилась зависимость от импорта.
За три года был сделан рывок в подготовке профессиональных кадров в ИБ, были разработаны и быстро запущены обновленные программы подготовки специалистов по кибербезопасности, которые уже обладают навыками тестирования и оценки защищенности технологий ИИ. Была перестроена вся система подготовки таких кадров, частично появился трек подготовки специалистов ИБ на уровне колледжа для выполнения ими задач мониторинга киберустойчивости и безопасности приложений ИИ. Появилось большое количество сетевых онлайн-программ, которые доступны широкому кругу как уже опытных кадров в ИБ, так и новичкам или тем, кто хочет изменить свой профессиональный путь.