Андрей Чечулин
Руководитель Международного центра цифровой криминалистики Петербургского ФИЦ РАН
КОГДА СХОДЯТСЯ ЗВЕЗДЫ
Не верь глазам своим :
ИБ входит в эпоху кризиса доверия к цифровым фактам
«Все лгут»
© Доктор Хаус (сериал «Доктор Хаус», House M.D.)
[1]
Прогноз на три года
Главный тренд ближайших трех лет — переход от простого роста числа атак к кризису доверия самим цифровым фактам. Раньше во многих случаях можно было исходить из того, что письмо написал указанный отправитель, голос принадлежит знакомому человеку, видеозвонок подтверждает присутствие живого собеседника, а лог отражает реальное событие. Теперь это работает все хуже.
К вопросу «Что произошло?» все чаще добавляется второй: «Почему мы считаем, что это действительно произошло?» При этом кризис доверия будет развиваться сразу на трех уровнях.
Первый — человеческое восприятие
Нельзя будет вслепую верить тому, что человек видит и слышит: фото и видео, звонку, голосовому сообщению, письму.
Слов «я видел своими глазами» уже недостаточно даже в бытовых и рабочих ситуациях. ИИ делает подделку комплексной: она учитывает стиль речи руководителя, лексику компании, формат внутренних писем и состояние адресата.
Второй — техническая база
В ИБ будет нельзя безоговорочно верить логам, телеметрии устройств, сетевым записям и отчетам средств защиты.
Это не значит, что данные всегда будут ложными. Это значит, что у каждого важного свидетельства должно быть понятное происхождение и возможность независимой проверки. Лог сам по себе перестанет быть доказательством. Он станет тем, что нужно долго и тщательно проверять: кто его создал, где он хранился, могли ли его изменить, синхронизировано ли время, есть ли подтверждение из другого источника.
Третий — результаты работы ИИ-систем
Нельзя будет вслепую верить ответу модели, сгенерированному коду или отчету, который подготовил ИИ-ассистент. И проблема не сводится только к галлюцинациям. Все дело в происхождении модели.
Неизвестно, на каких данных модель обучалась и дообучалась, какие внешние источники использует, какие инструкции влияют на ее поведение и кто менял пайплайн ее обучения. На практике это будет создавать конкретные риски: от промпт-инъекций и отравления обучающих данных до уязвимости цепочек поставки моделей и слишком большой самостоятельности агентов.
Из этого треда следует расширение и изменение важности классических свойств ИБ. Кроме классических — конфиденциальности, целостности и доступности — значительно возрастет важность свойств подлинности, неотказуемости и прослеживаемости. И эти свойства нужны теперь будут любым важным цифровым фактам: звонку руководителя, событию в SIEM, выводу ИИ-ассистента, версии модели, набору данных и т. д.
Этот процесс виден уже сейчас. Правоохранительные и регуляторные органы начинают отдельно учитывать мошенничество с применением ИИ: голосовое клонирование, поддельные профили, синтезированное видео. Так, в начале 2024 года сотрудник гонконгского офиса компании Arup перевел мошенникам около 25 млн долларов после видеоконференции, где все «коллеги» на экране были дипфейками.
В мире счет заметных дипфейк-инцидентов растет: за первый квартал 2025 года их насчитали 179 — больше, чем за весь 2024 год. В России тот же тренд виден по телефонному мошенничеству: уже за первый квартал 2025 года операторы связи заблокировали больше миллиарда звонков злоумышленников, и синтезированный голос в них используется все чаще.
В мире счет заметных дипфейк-инцидентов растет: за первый квартал 2025 года их насчитали 179 — больше, чем за весь 2024 год. В России тот же тренд виден по телефонному мошенничеству: уже за первый квартал 2025 года операторы связи заблокировали больше миллиарда звонков злоумышленников, и синтезированный голос в них используется все чаще.
Поэтому меняется и сама логика контроля ИБ. Отчасти это продолжение принципа нулевого доверия (Zero Trust), который уже стал нормой: не доверять по умолчанию и проверять все и всех. Разница в том, что раньше этот принцип преимущественно относился к доступу — к сети, устройству и учетной записи, а теперь тот же подход приходится применять ко всем цифровым данным: медиа, логам, выводам ИИ.
При этом обучить сотрудников распознавать обман и поставить детектор дипфейков уже мало — люди не могут распознать подделку, а детекторы очень быстро устаревают. Понадобятся постоянное подтверждение важных действий через независимые каналы, защищенное журналирование, контроль происхождения медиа, проверка источников данных и фиксация версий моделей ИИ. Таким образом, ИБ будет отвечать на два вопроса сразу: как защитить данные и как доказать, что этим данным можно доверять.
При этом обучить сотрудников распознавать обман и поставить детектор дипфейков уже мало — люди не могут распознать подделку, а детекторы очень быстро устаревают. Понадобятся постоянное подтверждение важных действий через независимые каналы, защищенное журналирование, контроль происхождения медиа, проверка источников данных и фиксация версий моделей ИИ. Таким образом, ИБ будет отвечать на два вопроса сразу: как защитить данные и как доказать, что этим данным можно доверять.
[2]
Прогноз на пять лет
За пять лет проверки данных перестанут быть отдельными задачами про дипфейки, логи и т. д. и станут требованием к самой архитектуре систем. Для критичных, регулируемых и зрелых организаций доверие перестанет быть свойством отдельного файла или модели. Оно станет результатом того, как построена цифровая среда. Ценным будет уже не только процесс хранения данных, но и способность объяснить и доказать, откуда они взялись: какой человек, процесс или ИИ-агент сформировал цифровой объект, через какие системы он прошел, кто мог его изменить и можно ли повторить результат.
Будут развиваться инфраструктуры, заранее готовые к расследованию. В них будут не просто пара журналов и резервных копий, а среда, где каждое событие имеет независимое подтверждение, цепочки обработки данных прослеживаются, время синхронизировано, а версии моделей ИИ и датасетов зафиксированы и оценены. Для И И это будет значить более строгое регулирование требований по доверию к моделям. В сценариях использования уже не хватит факта «используется известная большая языковая модель» или «модель прошла тестирование».
Понадобится знать конкретную версию модели, данные ее обучения и дообучения, заданные ограничения, подключенные внешние инструменты, доступ через RAG и места, где человек подтверждал важные операции. Модель перестанет быть нейтральным инструментом как элемент программного кода. Она станет поставляемым, оцениваемым и изменяемым объектом (а иногда отчасти и субъектом) внутри цепочки доверия.
При этом универсального технического решения ждать не стоит. Стандарты оценки происхождения контента, электронные подписи, водяные знаки, защищенные журналы и прочие свойства цифровых объектов будут развиваться, но ни один механизм сам по себе проблему доверия не решит. Подпись подтверждает источник, но не истинность содержания. Метаданные описывают историю файла, но их можно удалить. Детектор дипфейков снижает риск, но не дает гарантии. Проверка станет многослойной: технические механизмы, организационные процедуры, независимые подтверждения и криминалистическая оценка будут работать вместе.
Отдельным направлением развития ИБ станет использование проблемы доверия против самих злоумышленников. Если защитник больше не может доверять тому, что видит, то и атакующий оказывается в такой же ситуации. Он не всегда понимает, настоящий ли перед ним сервер, живой ли сотрудник, ценны ли найденные данные. На этом в том числе будет строиться новое поколение технологий защиты. Так, классические ловушки-приманки (honeypot) уже сейчас используются для наблюдения за атакующими, но новые технологии позволят им стать по-настоящему динамическими.
Отдельным направлением развития ИБ станет использование проблемы доверия против самих злоумышленников. Если защитник больше не может доверять тому, что видит, то и атакующий оказывается в такой же ситуации. Он не всегда понимает, настоящий ли перед ним сервер, живой ли сотрудник, ценны ли найденные данные. На этом в том числе будет строиться новое поколение технологий защиты. Так, классические ловушки-приманки (honeypot) уже сейчас используются для наблюдения за атакующими, но новые технологии позволят им стать по-настоящему динамическими.
Вместо статичной ловушки, которую опытный злоумышленник быстро распознает, появятся среды, правдоподобно имитирующие файловые системы, базы данных, внутренние сервисы и рабочие процессы, включающие активность обычных пользователей. Похожая логика будет развиваться и для социальной инженерии, хотя тут нужны осторожность и ограничения. В некоторых организациях уже сейчас появляются контролируемые приманки: специальные адреса и ложные профили пользователей, с которых ИИ может вступить во взаимодействие с преступниками. Это помогает выявлять фишинговые кампании и инфраструктуру мошенников.
Главный вывод пятилетнего прогноза простой. ИБ будет все меньше сводиться к защите периметра и все больше будет отвечать за доверенную цифровую среду в целом. В такой среде мало будет обнаружить и предотвратить атаку. Нужно будет постоянно доказывать происхождение данных, объяснять действия ИИ, подтверждать подлинность разговора, отличать человека от ИИ-агента, а настоящие данные — от поддельных.
Главный вывод пятилетнего прогноза простой. ИБ будет все меньше сводиться к защите периметра и все больше будет отвечать за доверенную цифровую среду в целом. В такой среде мало будет обнаружить и предотвратить атаку. Нужно будет постоянно доказывать происхождение данных, объяснять действия ИИ, подтверждать подлинность разговора, отличать человека от ИИ-агента, а настоящие данные — от поддельных.
Будущее ИБ можно описать короткой формулой: защита плюс доказуемость. Там, где нельзя вслепую верить ни глазам, ни ушам, ни логам, ни ИИ, главным активом становится не сама защищенная система, а способность доказать, почему конкретному цифровому факту можно доверять.
