Злоумышленники

ИИ повышает эффективность проводимых атак. Так, например, ИИ значительно усилил возможности социального инжиниринга. Генеративные модели способны создавать правдоподобные фишинговые письма, имитируя стиль конкретной организации или человека. Массовая рассылка уникальных, грамотно составленных писем, учитывающих контекст и психологию жертвы, — задача, которую ИИ может выполнять быстрее и лучше человека. Еще более наглядным примером является развитие технологий создания дипфейков.

Технологии создания реалистичных аудио, фото и видеофрагментов существовали достаточно давно, но сейчас благодаря ИИ они стали легкодоступными, и мошенники быстро взяли ее на вооружение. В результате число социоинженерных атак уже начало активно расти. По данным одного из исследований, за последний год количество мошеннических кампаний увеличилось более чем в десять раз и в ближайший год будет только расти.

Уже продемонстрированы прототипы таких возможностей. В феврале 2024 года группа исследователей показала, что LLM-агент (на базе GPT-4) способен автономно взломать веб-сайт, последовательно выполнив атакующие действия от SQL-инъекции и извлечения схемы базы данных до эксплуатации XSS. Успешность таких автономных атак пока невелика, но сам факт того, что ИИ в принципе может провести серию взаимосвязанных атакующих действий, является крайне важным сигналом.

Более того, как и очень опытные хакеры, ИИ умеет быстро адаптироваться. Так, в рамках одного из экспериментов генеративная модель успешно разработала эксплойт для новой уязвимости практически сразу после публикации информации о ней. Все это превращает ИИ в отличный инструмент для проведения атак, используя который опытные преступники выигрывают за счет ускорения своей работы, а неопытные — за счет снижения требований к навыкам и ресурсам. В итоге число потенциальных атакующих растет, а качество и масштаб их атак повышаются.

В целом, в ближайший год атакующие будут активно наращивать применение ИИ на всех фазах атак, увеличивая масштаб фишинга, автоматизируя выбор целей, ускоряя поиск уязвимостей и создавая все более реалистичные ложные объекты (от поддельных личностей в соцсетях до полностью синтезированных документов).

Защитники

Перед специалистами по безопасности ИИ также открывает широкие возможности. В условиях нехватки квалифицированных кадров (проблема, остро стоящая и в России, и во всем мире) интеллектуальная автоматизация защитных функций является крайне востребованной. Машинное обучение уже много лет применяется в кибербезопасности, но в этом году достаточно активно стали появляться системы защиты, где ИИ уже — не просто вспомогательная модель, но ядро всей системы.

С появлением новых генеративных моделей защитники начали внедрять их в практическую работу специалистов. Примером служит опыт российских лидеров отрасли. Так, Сбер разработал собственную платформу безопасности, где задействовано более 100 моделей ИИ для мониторинга аномалий и мошенничества. Ежедневно система Сбера обрабатывает порядка 500 миллиардов событий и банк делает ставку на машинное обучение для предсказания и предотвращения атак.

Аналогичные решения появляются и на Западе: корпорация Microsoft вывела в пилот Security Copilot — чат-интерфейс на базе GPT-4, интегрированный с продуктами безопасности. Похожие функции предлагают и ряд других вендоров ИБ. Это подтверждает глобальный тренд: согласно данным Gartner, уже в этом году более половины организаций в мире напрямую или косвенно используют ИИ при анализе угроз и автоматизации реагирования. Россия не исключение: большое количество российских организаций заявили, что уже внедряют у себя ИИ-системы для предотвращения киберугроз, что отражает высокий интерес рынка к подобным решениям.

Отдельно важно отметить проактивное выявление уязвимостей с помощью ИИ. Традиционно поиском слабых мест занимались либо автоматические сканеры (ищущие известные проблемы), либо эксперты-пентестеры. Уже сейчас некоторые фирмы используют комбинированные подходы: постоянное сканирование сетей и приложений 24/7 автоматическими средствами с ИИ плюс выборочные проверки людьми. А есть команды пентестеров, которые практикуют учения с ИИ-помощниками: сценарии атак генерируются нейросетью, чтобы проверить готовность защитных мер как к стандартным атакам, так и к чему-то новому.

Тем не менее у защитников есть свои проблемы при внедрении ИИ:

Тем не менее эти сложности постепенно преодолеваются. Вопрос лишь в том, как быстро удастся преодолеть ограничения и сделать такие решения массовыми.

Соотношение сил: кто будет впереди через год?

Внедрение ИИ с обеих сторон создает баланс, сходный с ситуацией гонки вооружений. Выигрывает тот, кто сумеет быстрее и эффективнее адаптировать ИИ под свои задачи. В краткосрочной перспективе (ближайший год) можно ожидать, что атака получит импульс несколько быстрее, чем защита — по ряду причин:

Тем не менее, кроме технологического аспекта, есть еще стратегический фактор: сотрудничество и обмен данными. Хакерские группировки действуют разрозненно, зачастую конкурируя; защитникам же легче кооперироваться — делиться индикаторами компрометации, образцами атак, новыми методами обнаружения. С помощью ИИ этот обмен может стать еще эффективнее: модели способны мгновенно распространять информацию о новой атаке по всем узлам сети мониторинга, обучаться на общем потоке телеметрии, доступном от множества участников.

Таким образом, коллективная защита, усиленная ИИ, имеет потенциал перегнать возможности одиночных групп атакующих. Ключевой момент в том, что баланс сил будет постоянно изменяться. Каждое новое применение ИИ атакующими стимулирует ответные меры защитников. И наоборот. Один шахматный гроссмейстер заметил: «Вашу работу заберет не ИИ, а человек, умеющий им пользоваться». В кибербезопасности эта мысль особенно актуальна — преимущество через год получит та сторона, которая сумеет лучше встроить ИИ в свои процессы и выработать эффективный человеко-машинный симбиоз.

Злоумышленники

Наиболее опасным направлением развития ИИ представляется разработка полностью автономного интеллектуального кибероружия. Сегодня и в ближайшее время большинство атак все же будут требовать участия человека (планирование, выбор целей, управление). Исследования последних лет показали принципиальную возможность полностью автономной работы ИИ в этой области. Подобные ИИ способны превратить редкие целевые атаки в массовые операции, исполняемые быстро и адаптивно. Благодаря этому один грамотный оператор с роем ИИ-агентов сможет провести сотни одновременных атак там, где раньше требовалась целая команда хакеров.

При этом предполагается, что в ближайшие годы наступательные ИИ-инструменты будут скорее усиливать хакеров, чем полностью заменять их. Да, один злоумышленник с ИИ может сделать больше, но инициатива атаки, креативный замысел, выбор целей — эти аспекты в ближайшие годы останутся под контролем человека. Киберпреступность по-прежнему будут возглавлять люди — те же банды и группировки, которые будут вооружены ИИ как инструментом.

Защитники

В области же защиты замещение будет проходить более активно. Исходя из тенденций развития ИИ, предполагается, что наиболее сильно он заместит людей там, где человек менее эффективен — в рутинных, масштабируемых операциях. К 2028 году типичный ситуационный центр крупной организации, вероятно, будет как минимум на половину состоять из автоматических агентов. Первичные анализаторы инцидентов, средства мониторинга, анализ рисков — все это ляжет на плечи ИИ, способного анализировать миллионы событий в секунду и выявлять угрозы быстрее и точнее человека.

Человеческая роль сместится в сторону надзора за этими системами и решения нестандартных задач. Произойдет заметное снижение численности аналитиков первого и второго уровней в пользу более узкого круга высококвалифицированных инженеров. Навыки последних эволюционируют: требуются знания в области ИИ, аналитики данных, сценарного моделирования атак и т. д.

Соотношение сил: кто будет впереди через год?

Следующие три года станут временем качественного скачка в автоматизации как оборонительных, так и наступательных функций в кибербезопасности. Битва между атакующими и защитниками трансформируется в битву их ИИ-систем под управлением людей. В этой борьбе у защитников есть шанс сохранить за собой верховенство, если она сумеет быть на шаг впереди — внедрять инновации быстрее злоумышленников, устанавливать нормы и системы сдержек для использования ИИ. Здесь важна международная и межотраслевая кооперация: национальные программы развития ИИ должны учитывать рост использования ИИ преступниками и предусматривать адекватный ответ.

Таким образом, в большей степени ИИ «вытеснит» живых исполнителей на стороне защиты — особенно на начальном уровне. ИИ уже сегодня реально может заменить младшего аналитика SOC, и организация не почувствует ухудшения, а даже выиграет в скорости. Неслучайно некоторые эксперты уже говорят о возможном уменьшении спроса на младшие позиции аналитиков и инженеров ИБ, тогда как спрос на высокоуровневых архитекторов и исследователей наоборот вырастет.

Однако это вытеснение не следует понимать как абсолютное исчезновение ролей. Скорее, произойдет перераспределение труда: защитники займутся новыми задачами (создание и настройка ИИ-систем, принятие решений, расследование сложных инцидентов). В то же время злоумышленники «освободятся» от рутинного написания кода и тестирования (за них это сделает ИИ) и смогут посвятить больше времени планированию атак, социальному инжинирингу высокого уровня и поиску нестандартных лазеек.