Юрий Силаев
Большие языковые модели
в задачах анализа и обнаружения уязвимостей в программном коде
Заведующий лабораторией доверенного искусственного интеллекта РТУ МИРЭА
КОГДА СХОДЯТСЯ ЗВЕЗДЫ
Прогноз на 1 год
Курсор еще мигает, а свежая строка кода уже проходит проверку у «виртуального ревизора» — LLM-движка, который чует риск уязвимости быстрее, чем разработчик успевает вдохнуть. Через год такой ревизор станет штатным собеседником каждого программиста. Его вердикт будет значить больше, чем тесты и ревью. Игнорировать его предупреждение все равно, что перерезать кабель под напряжением.
Уже сейчас тысячи разработчиков применяют ИИ для анализа кода, и почти все крупные платформы встраивают такие функции. GitLab внедрил AI-модуль Suggested Reviewers: он проверяет исходники, пред лагает исправления и не выносит код за пределы системы. На подходе и отечественные решения — от ассистентов для статического анализа до моделей, находящих типовые баги и утечки данных.
Повышается и точность: модели обучаются на пул-реквестах, автоматически генерируют юнит-тесты к патчам, и улучшают precision за счет RL с обратной связью по безопасности.
Первые исследования показывают, что LLM-системы по точности в ряде задач уже не уступают классическим SAST-сканерам. Более того, они обучаются быстрее, видят больше, и теперь способны анализировать целый микросервис за один вызов благодаря увеличению контекста до 128K токенов. Появляются компактные SecLLM, модели на 120−200M параметров, которые работают локально и обеспечивают до 90% точности GPT-3.5 без выхода в облако.
Но ИИ-ревизор не всеведущ. Он не понимает бизнес-контекста и не может оценить критичность найденной уязвимости. Часто допускает ложные срабатывания или «галлюцинации», придумывает несуществующие библиотеки, уязвимости, пакеты. При «вайбкодинге» это особенно опасно: злоумышленники могут зарегистрировать вредоносный пакет с вымышленным именем и дождаться его установки.
Угроза идет и с другой стороны. Если модель обучена на «отравленных» данных, она может сама вставить баг или бэкдор, не нарушая синтаксиса. Доказано: достаточно подмешать несколько уязвимых примеров в датасет — и ИИ начнет вставлять вредоносные конструкции под видом корректного кода. Поэтому в ближайший год код-ревью для сгенерированного ИИ-кода станет обязательным. Будут приняты новые регламенты: обязательная проверка зависимостей, ручная валидация автоподсказок и настройка моделей на снижение ложных срабатываний. Разработчик должен не просто использовать ИИ, но и нести ответственность за результат.
В России к этому добавится и фактор сертификации. ФСТЭК и Минцифры уже формируют требования к LLM-ассистентам. Без отметки в едином реестре закупки ИИ-инструментов для госнужд будут невозможны. Идут разработки fine-tune-моделей, обученных на CVE и закрытых репозиториях — с контролем поставки и доверенным контуром.
“
Ближайший год станет годом гонки. Редактор кода превратится в арену, где одновременно стартуют ИИ-ревизор и ИИ-злоумышленник. Победит тот, чья модель нажмет Enter на долю секунды раньше
Тем временем на подпольных форумах продаются Attack-as-a-Prompt-наборы — цепочки запросов, которые заставляют LLM вставить обфусцированный бэкдор и обойти IDE-фильтры. В ход идет и отравление датасетов: атакующий подменяет пару патчей в популярных проектах, и модель начинает «рекомендовать» уязвимость как норму. Третий вектор атак — supply-chain: вредоносный fine-tune подсовывают через CI-плагины, отвлекая внимание ревьюера на ложные тревоги.
Прогноз на 3 год
К 2028 году большие языковые модели станут неотъемлемой частью создания и защиты ПО. ИИ будет встроен во все этапы: от написания кода до финального аудита. LLM нового поколения, обученные на массивах безопасного и уязвимого кода, смогут не только выявлять типовые уязвимости, но и анализировать архитектуру программ, находя скрытые дефекты, раньше доступные лишь экспертам.
Роль человека сместится в сторону надзора, анализа спорных случаев и принятия решений. Но этот сдвиг породит новые риски.
Уже сейчас создаются системы, где один ИИ пишет отчет, а другой его проверяет. Через три года такие мультиагентные подходы станут стандартом: отчеты об уязвимостях, предложения патчей, автоматизированный secure-by-design, все будет генерироваться и валидироваться LLM-ассистентами. В IDE появится постоянная подсветка опасных фрагментов, а при тестировании ИИ будет сам выполнять сотни атакующих сценариев. Расцветет направление AI-driven fuzzing: нейросети будут генерировать входные данные и последовательности вызовов, «встряхивая» код.
- Во-первых, сама экосистема ИИ станет мишенью. Будут атаковаться модели, промпты, пайплайны. Отрав ление обучающих данных станет реальностью: если ввести в открытые датасеты достаточно искаженных примеров, будущие LLM начнут систематически пропускать или даже рекомендовать уязвимости.
- Во-вторых, инсайдеры смогут прикрыться ИИ, пряча бэкдоры в патчи, объясняя их «ошибкой модели». Контроль за разработкой станет двухсторонним: человек контролирует ИИ, ИИ контролирует человека. Тихий саботаж должен быть замечен до релиза.
- В-третьих, сами модели могут оказаться уязвимыми. Уже сейчас есть риск атак через уязвимости в API или в механизмах ограничений доступа. Один успешный экс-плойт может вскрыть данные множества пользователей. Безопасность потребует тестировать ИИ-инструменты самих тестировщиков.
К 2028 году усилится и регулирование. Появятся ГОСТы и реестр доверенных ИИ-моделей. Для вывода LLM-продукта на рынок потребуется сертификация по линии ФСТЭК и Минцифры — с проверкой на объяснимость и отсутствие недекларированных возможностей. Без этого ни один крупный заказчик не подпишет контракт. Параллельно будет идти борьба за суверенные модели — полностью локализованные, обученные на отечественных данных. Датасеты станут стратегическим активом. Побеждать будут те, кто накопит и разметит больше корректного и атакующего кода. Возможно, под эгидой государства появятся консорциумы по обмену данными об уязвимостях, чтобы обучать свои модели на уровне лучших западных аналогов.
Через три года LLM станут постоянными участниками ИБ-процессов. Они ускорят поиск и исправление уязвимостей, но и сами будут полем боя. Атаки станут масштабнее, а защита — интеллектуальнее. Паниковать не надо: человек остается в центре. От экспертов, их навыков и осознанности будет зависеть, станет ли ИИ нашим союзником, или очередным источником риска. Прорыв возможен. Но произойдет это только при тесной координации сообщества, бизнеса и государства.
