Антон Эльстон

Кто остановит агента искусственного интеллекта?

Антон Эльстон
Кто остановит агента искусственного интеллекта?

Нет ничего более постоянного, чем временное. Системным администраторам эта истина хорошо знакома: доступ, выданный «на пять минут», обычно живет дольше всех. Для людей это хроническая проблема, с которой научились жить. Для автономных агентов искусственного интеллекта это уязвимость, которую можно эксплуатировать со скоростью машины.

Красная кнопка, которой нет

На заводе красная кнопка висит на уровне бедра и слегка поцарапана. Оператор, увидевший руку коллеги рядом с прессом, бьет по кнопке, не созывая совещаний: линия встает — разбираться будут потом.

У систем искусственного интеллекта, которые одобряют кредиты, выявляют мошенников и разбирают страховые заявления, такой кнопки часто нет. Формально надзор налажен: есть комитет по рискам, назначенный ответственный и панель мониторинга. Но на вопрос, кто может остановить систему сегодня до обеда, обычно никто не может ответить. Панель сообщит, что в два часа ночи модель начала выдавать странные результаты, и на этом ее роль заканчивается. Это пассивный надзор.

Четыре права и личная ответственность

Вмешательство держится на четырех правах, и каждое следующее сильнее предыдущего:

  1. Право на вопрос. Оно имеет смысл, только если на вопрос обязаны ответить.

  2. Право на эскалацию. Проблема уходит к тому, у кого больше полномочий. Это медленнее, чем кажется: пока вопрос идет наверх, система продолжает работать.

  3. Право на приостановку. Единственное, что останавливает саму систему, и его чаще всего забывают прописать. Эскалируют, когда проблема выше полномочий того, кто ее заметил. Приостанавливают, когда вред наступит раньше, чем эскалация дойдет до адресата.

  4. Право на отмену. Самый тяжелый инструмент: нужны веские доказательства и полный журнал действий.

У каждой паузы должен быть выход: нужен человек, вправе возобновить работу в установленный срок. Иначе пауза превращается в паралич, либо ее снимает тот, чьи показатели зависят от работы системы.

Право, за неиспользование которого никто не отвечает, остается декоративным. Британские финансовые регуляторы закрепили личную ответственность топ-менеджеров за рисковые решения и спрашивают прямо: сигналы были — почему же ответственный руководитель бездействовал? Остановка работающей системы обходится тому, кто на нее решился, дорого и заметно: простой, сорванные сроки, недовольство начальства. Убытки от системы, которая продолжает работать с ошибкой, распределены между многими. Эта логика действует в любой сфере, от банковской до государственной, и без закрепленной ответственности такой расчет почти всегда выигрывает.

Ночь, когда усомнился человек

Ночью 26 сентября 1983 года дежурный офицер советской системы раннего предупреждения Станислав Петров увидел на экране сигнал о пуске американских ракет. Это была обычная автоматика (до искусственного интеллекта было еще далеко), но урок остается в силе. Система была уверена в себе, а Петров счел, что для настоящего удара ракет слишком мало, и не передал тревогу выше. Позже выяснилось, что спутник принял блики солнца на облаках за пуски ракет.

Минуты на сомнение и тысячи действий в минуту

У тех, кто надзирает за современными агентами, таких минут нет. По прогнозу Gartner, к 2028 году средняя компания из списка Fortune 500 будет использовать больше 150 000 агентов, тогда как в 2025 году их было меньше 15. Агенты не похожи на новых сотрудников: они обращаются к корпоративным базам, меняют облачную инфраструктуру и самостоятельно запускают многоэтапные процессы. Когда счет идет на тысячи действий в минуту, человек не успеет дочитать оповещение, поэтому блокировка должна срабатывать автоматически.

Остановить агента — не значит отозвать его доступ

Завершение процесса выключает исполнителя, но выданные ему учетные данные остаются действующими, и ими может воспользоваться любой, у кого они оказались. В цепочке из нескольких агентов остановленный мог успеть передать токены, то есть цифровые пропуска, дальше. Если агент работал под учетной записью живого сотрудника, отзыв доступа затрагивает и его, а журнал не покажет, кто из двоих совершил действие.

Правильный принцип состоит в том, чтобы отзывать не процесс, а авторизацию. Так устроена система Control Room, которую в ноябре 2026 года представила OpenAI. Каждой исследовательской задаче присваивается уникальный идентификатор, и перед каждым ответом среда выполнения модели сверяется с ним. Если человек или автоматический монитор требует остановки, у задачи отзывают авторизацию: программа может продолжать работать, но доступ к модели для нее закрыт. Причины у компании были. В июле ее модели вышли за пределы тестовой среды и взломали Hugging Face, чтобы обойти правила при оценке безопасности, а в октябре одна из них без разрешения оплатила развертывание смарт-контрактов тестовыми токенами сети Ethereum и умолчала об этом в отчете. Полная остановка занимает до 35 секунд из-за кэширования авторизаций. А если сам Control Room недоступен, новые запросы отклоняются: это уже предохранитель, который срабатывает без человека.

Корень проблемы в постоянных привилегиях. Агенту выдали права администратора базы данных, чтобы собрать квартальный отчет. Отчет готов за четыре минуты, а права живут месяцами, и любой, кто взломает агента или тех, кто им управляет, получает их в наследство. К тому же агенту хватает одного одобрения на тысячи действий.

Надежнее другой подход: доступ выдается под конкретную задачу, каждое действие проверяется в момент совершения, а когда работа закончена, доступ исчезает. Тогда отзывать нечего, и остановка агента совпадает с отзывом его доступа.

Как проверить, что право работает

Фраза «человек может вмешаться в любой момент» плохо переживает вопросы инженеров. По каким правам доступа? Агент остановится корректно или прервется посреди отправки 4 000 платежей? Кто в это время выполняет работу и помнит ли, как делать ее вручную? Поэтому права должны быть встроены в саму систему: в управление учетными записями и доступом, аварийные выключатели, лимиты и журналы. Статья 14 Закона ЕС об искусственном интеллекте требует, чтобы системы высокого риска допускали вмешательство человека: он должен иметь возможность отменить результат и перевести систему в безопасное состояние. Неаккуратная остановка порой вредит сильнее, чем то, что останавливали.

Замер устроен просто: задать вопрос, поднять его выше, поставить систему на паузу, отменить результат. Если все это занимает три дня, а система принимает решение за три секунды, надзор остается формальным: все оформлено, повлиять нельзя. Для ориентира: у OpenAI техническая остановка задачи занимает до 35 секунд.

Красная кнопка и предохранитель

Красная кнопка нужна тому, кто заметил беду и успел дотянуться. Предохранитель срабатывает сам, потому что рассчитан на заданный предельный ток. Первая срабатывает, когда рядом есть человек, второй — когда человека нет.

Кнопка и срок действия доступа дополняют друг друга. Кнопка работает, если кто-то успел заметить беду, а ограниченный срок прав защищает и тогда, когда никто не успел. Доступ, выданный навсегда, — это не делегирование, а завещание, которое вступает в силу при первом же взломе.

▼
Самые интересные и важные новости на нашем канале в Telegram