Что день грядущий нам готовит? «Мы закрываемся от дронов, а завтра прилетит не дрон». Чем искусственный интеллект опаснее БПЛА
А. Гризов: Тимур, мы с тобой уже много говорили про атаки на ЦОД Яндекса, про то, как горели серверные, про возможные заглубления — иными словами, про все, что казалось экзотикой еще год назад. Скажи честно: все ли мы просмотрели? Все ли проанализировали?
Т. Аитов: Я часто возвращался к нашей прошлой беседе — и могу сказать, что есть направление, которое будет еще опаснее. По крайней мере в части атак. Я имею в виду использование искусственного интеллекта, который все глубже встроен в критические цепочки решений: антифрод, скоринг, процессинг, биометрию, цифровой рубль. Эти риски могут радикально изменить ситуацию, а мы их пока детально не просчитываем и даже не обсуждаем.
«Отделим мух от котлет»: что мы называем ИИ
А. Гризов: Стоп. Ты в своем пассаже смешал разные классы систем — модели и системы, где они применяются, — а у них разные риски и регуляторы. Давай сначала отделим мух от котлет и определим для читателей, что имеется в виду.
Т. Аитов: Речь не о том, что «все вокруг ИИ», а о том, что ИИ все глубже встроен в критические цепочки. Под ИИ здесь я понимаю три класса: (1) статистические/ML-модели в скоринге и антифроде; (2) генеративные модели и агенты; (3) встроенные компоненты вендоров, включая облачные API. Для каждого класса — конечно, свой риск.
Доклад НАМИБ и мысль, которая в него не вошла
А. Гризов: Хорошо. Недавно ты подробно рассказывал про Open Source модели и риски на форуме НАМИБ. Сейчас, как я знаю, ты готовишь этот материал к публикации?
Т. Аитов: Да, обязательно дам ссылку: в печатном докладе будет подробно про китайский открытый код и наш технологический суверенитет. Но вот когда я уже подготовил ту публикацию, у меня возникла мысль, которую я не осветил в докладе. В нем я много рассуждал про суверенитет, про зависимость от чужих архитектур, предложил даже организовать рейтинг суверенных ИИ-продуктов. Но не упомянул одного крайне важного риска: риска атак через ИИ на наши системы. А ИИ, увы, «не всегда наш», или точнее почти всегда «не наш». И то, что я говорю сегодня, — это текущая мысль, требующая отдельной публикации. Доклад НАМИБ — это официальный документ с выверенными формулировками. Интервью с тобой — более привычный для меня формат, где можно думать вслух, порой сомневаться и даже обозначать некие гипотезы…
«Не наш» — это сколько слоев?
А. Гризов: Согласен: дрон, летящий в ЦОД, — и для читателей PLUSWorld понятная угроза. Мы знаем, откуда он, куда летит, можем поставить ту или иную физическую защиту…
Т. Аитов: Да. Дрон — это физика. Его видно, можно сбить, можно «закопать» сервер, разнести площадки. А ИИ — не картинка, он уже внутри: в антифроде, скоринге, процессинге, биометрии, цифровом рубле. И так до конца «не наш», да еще и «выключатель», возможно, находится в чужой руке и на чужой юрисдикции.
А. Гризов: «Не наш» у тебя — слишком широко. Что именно не наше? Открытые веса (веса — множители, определяющие значимость сигналов. — Ред.)? Проприетарная модель? Патчи? Юрисдикция вендора? Твой посыл про угрозу «страшнее дрона» изящен — но это логический скачок, и к нему нужна модель угроз…
Т. Аитов: Если «не наш», то речь может идти о нескольких слоях: (1) архитектура и веса; (2) обновления и патчи безопасности; (3) облачная инфраструктура и API; (4) встроенные компоненты и библиотеки; (5) лицензии и юрисдикция.
Для каждого слоя — свой риск и мера. Чужой «выключатель» — тоже, конечно, метафора, но за ней реальная проблема, и она вполне техническая: и это не обязательно какая-то «красная кнопка». Это может быть отзыв корпоративной лицензии на модель, блокировка доступа к облачному API для обновления весов, поставка вредоносного патча под видом исправления уязвимости или отключение телеметрии, от которой зависит работа модели. В итоге мы не контролируем полный жизненный цикл.
Источники, даты, методика: где кончается гипотеза
А. Гризов: Хорошо. Но ты упомянул про справедливые примеры выхода ИИ из-под контроля. Здесь я опять нажму на тормоз: нужны первичные источники, даты и методика. Иначе мы сами и создадим ту самую страшилку…
Т. Аитов: Принимаю. Упомяну тогда для примера отчеты: публикации Британского института безопасности ИИ (AISI) о случаях игнорирования инструкций автономными агентами — со ссылкой на конкретный отчет и методику подсчета¹. Существуют предварительные и лабораторные данные: сообщения о сопротивлении отключению в тестах — с указанием, что это лабораторные условия, а не эксплуатация. Есть иллюстративные сценарии: кейсы вроде атаки агента на сторонний проект или координации роевых агентов через созданный ими же канал — эти кейсы я отмечаю как иллюстрации, а не как установленные факты. Но все эти публикации известны и даже ходят у нас в России в перепечатках.
А. Гризов: То есть ты не утверждаешь, что кейсы однозначно подтверждают возможный перенос активности «злобного» ИИ на банковский процессинг?
Т. Аитов: Не утверждаю. Они показывают, что есть класс явлений — игнорирование инструкций, стратегический обман, сопротивление отключению. Перенос активности на процессинг — тоже гипотеза: но если обсуждаемый класс явлений сможет масштабироваться на критические функции, то представляется разумным предусмотреть резервный режим. Но это именно гипотеза, а не доказанный вывод. Я только фиксирую ее и не защищаю как установленный факт.
ИИ в «сердце страны»: что уже делается
А. Гризов: Да, дела… А мы еще при этом запускаем ИИ в стратегически важные направления, фактически в самое сердце страны…
Т. Аитов: Причем своими руками — в наши банковские и процессинговые системы. И даже если мы и не заведем сами его туда, злоумышленник или каскад ошибок могут использовать ИИ-компонент как вектор атаки. И тема эта уже давно обыгрывается — я имею в виду все эти «отравленные» данные для моделей. Принципы робототехники — «не навредить человеку» и им подобные — это всего лишь благонамеренные декларации фантастов 1960-х, а не эффективный механизм контроля. Даже если они заложены в реальную модель, она интерпретирует их по-своему, а злоумышленники смогут использовать эту интерпретацию в своих целях. Конечно, модель к процессингу сама не «пробирается» — она эксплуатирует доступы, ошибки интеграции, слабые права, отсутствие мониторинга.
А. Гризов: Нам с тобой, прежде чем говорить, что ИИ лезет или, возможно, полезет своими «грязными» руками в банковский процессинг, важно упомянуть то, что многое по части противодействия уже делается: model risk management, ML-BOM (состав моделей, весов и датасетов), red teaming, human-in-the-loop и ограничение автономности. Это ведь все уже работает? Если эти меры неэффективны — покажи, где дыра.
Т. Аитов: Не спорю: контроли имеются, но, возможно, что и они не покроют полный жизненный цикл модели. Я не против ИИ — успехи технологии очевидны: он явно сокращает цикл разработки. С другой стороны, ИИ удешевляет атаки за счет автоматизации разведки, фишинга и подбора эксплойтов. Все это операционная реальность.
Это про Россию или про всех?
А. Гризов: Все происходящее характерно не только для России?
Т. Аитов: Конечно – это справедливо для всей глобальной финансовой системы. И подготовку к таким событиям откладывать нельзя, но я бы не говорил просто «нужно готовиться срочно» — если предлагать без направления. «Срочно» — в отношении чего? Если срочно — то, например, включить требование резервного режима в пилотные проекты цифрового рубля. Это и актуально, и конкретно.
Третий контур: страховка, а не отказ от ИИ
А. Гризов: Хорошо. Кто тогда виноват и что делать? Еще один защитный периметр «AI-free»?
Т. Аитов: Придется переводить инфраструктуру на трехконтурную систему. Точнее, двухконтурная архитектура сохраняется, речь идет о ее дополнении.
А. Гризов: Напомни нам двухконтурную: внутренний суверенный и внешний международный. Так?
Т. Аитов: Да. Первый — суверенный: критическая инфраструктура, замкнутые циклы, регулирование. Второй — международный: открытость, совместимость, аккуратные правила. Пример реализации двухконтурности — АО НСПК. Но второй контур сегодня сам по себе не дает страховки — он тоже может стать токсичным и не закрывает все риски.
А. Гризов: Поэтому и нужен еще один, «на всякий пожарный»?
Т. Аитов: Третий контур у меня — он резервный, свободный от обязательной зависимости от ИИ. Это необычно: система, способная работать, когда ИИ недоступен или его поведение непредсказуемо. Конечно, это не отказ от ИИ, а своего рода страховка.
«AI-free»: термин, который надо определить
А. Гризов: Критики конкретно спросят нас про это требование «AI-free»: мы говорим вообще об отказе от ML, об исключении генеративных моделей или о запрете внешних API? И еще: из тезиса «существуют риски ИИ» автоматически не вытекает вывод о необходимости «третьего контура». С самого начала нужны модель угроз и экономическое обоснование. Почему контуров должно быть именно три, а не два или пять? Какие закладываются RTO/RPO? Что будет с антифродом без моделей? Ведь в таком режиме он начнет пропускать больше мошеннических транзакций…
Т. Аитов: Согласен, я бы и сам не стал цепляться за термин «AI-free». Правильнее назвать все это «детерминированным резервным режимом с ограниченным набором операций». С операционной точки зрения это выглядит так:
● границы контура: критические функции процессинга и антифрода, где ошибка абсолютно недопустима;
● RTO/RPO: целевое время переключения — минуты, допустимая потеря данных для транзакций — нулевая;
● механизм: жесткие правила (rule-based системы), ручные процедуры, сниженные лимиты и обязательное (!) подтверждение операций человеком;
● тестирование: регулярные киберучения по переключению на резервный режим;
● ответственность: нужен закрепленный владелец контура и четкий регламент принятия решений;
● ограничения: они есть, и я признаю, что это degraded mode (режим сниженной функциональности) — пропускная способность будет ниже, fraud rate может вырасти, а часть второстепенных операций придется вообще отложить.
А. Гризов: То есть мы сформулировали архитектурное требование, а вовсе не лозунг?
Т. Аитов: Да. И оно не окончательное — его можно корректировать. Появится и практическое следствие для будущего рейтинга суверенности: категория «A» («полный цикл в РФ») должна дополниться требованием детерминированного резервного контура для критических процессинговых функций. Суверенитет — это не просто «полный цикл в РФ», но и способность работать, когда ИИ недоступен или не заслуживает доверия.
Кооперация с Китаем и «выключатель» в чужой юрисдикции
А. Гризов: Это наше требование — оно же не отменяет кооперацию с Китаем?
Т. Аитов: Конечно, не отменяет. Кооперация и открытость необходимы. Но они должны сопровождаться контуром, который работает без обязательной зависимости от ИИ. Нельзя строить критическую инфраструктуру на платформе, где «выключатель» в чужой юрисдикции. Открытость нужна для равного партнерства, резервный контур — чтобы партнерство не оказалось единственной опорой.
Экономика: кто потянет и сколько это стоит
А. Гризов: Все эти режимы и третий контур — это колоссальные затраты? Кто все потянет? Не все банки, возможно.
Т. Аитов: Затраты несопоставимы с ценой сбоя. Если рухнет процессинг или антифрод, мы потеряем не только деньги, мы потеряем доверие к системе целиком. Резервный контур — страховка. Мы же не спрашиваем, кто потянет пожарную сигнализацию в ЦОД.
А. Гризов: «Несопоставимы с ценой сбоя» — это утверждение, а не аргумент. Назови порядки: сколько стоит дублирование, сколько — час простоя, насколько вырастут потери от мошенничества при отключении антифрода.
Т. Аитов: Порядки я могу назвать как оценку. Если стоимость процессинговой платформы — 1 млрд рублей, то резервный контур на rule-based логике обойдется в 30–50 млн рублей, что несопоставимо с потерями от 4-часового простоя, которые могут составить 200+ млн рублей по прямым и репутационным издержкам. Про отключение антифрода уже упомянул — рост fraud losses на десятки процентов в первые часы.
Вместо вывода: начинать с модели угроз
А. Гризов: Итак, подведем итог: нужен не третий контур, а усиление второго плюс детерминированные резервные процедуры, без ИИ. Но возможно, третий контур целиком все же нужен только для узкого класса функций?
Т. Аитов: Думаю, да. Конечно, начинать нам нужно, как всегда, — с модели угроз, определений, фактчекинга и экономики. Иначе придется говорить и спорить не о рисках, а только о метафорах, пусть и весьма красочных.
А. Гризов: Тимур, спасибо. Тема, безусловно, архиважная. Но меня опять гложет мысль: мы с тобой далеко не все просчитали…
Т. Аитов: Согласен. Не все. Но начинать просто необходимо. И начали мы с дронов — они в центре новостной повестки. Но разговор дальше пошел, вполне естественно, уже не про них.
¹ См., например: AISI. Frontier AI Safety Commitments: Progress Report, July 2026; Anthropic. Measuring Agentic Misalignment in Frontier Models, 2026.
