Нет ничего более постоянного, чем временное. Системным администраторам эта истина хорошо знакома: доступ, выданный «на пять минут», обычно живет дольше всех. Для людей это хроническая проблема, с которой научились жить. Для автономных агентов искусственного интеллекта это уязвимость, которую можно эксплуатировать со скоростью машины.
Красная кнопка, которой нет
На заводе красная кнопка висит на уровне бедра и слегка поцарапана. Оператор, увидевший руку коллеги рядом с прессом, бьет по кнопке, не созывая совещаний: линия встает — разбираться будут потом.
У систем искусственного интеллекта, которые одобряют кредиты, выявляют мошенников и разбирают страховые заявления, такой кнопки часто нет. Формально надзор налажен: есть комитет по рискам, назначенный ответственный и панель мониторинга. Но на вопрос, кто может остановить систему сегодня до обеда, обычно никто не может ответить. Панель сообщит, что в два часа ночи модель начала выдавать странные результаты, и на этом ее роль заканчивается. Это пассивный надзор.
Четыре права и личная ответственность
Вмешательство держится на четырех правах, и каждое следующее сильнее предыдущего:
Право на вопрос. Оно имеет смысл, только если на вопрос обязаны ответить.
Право на эскалацию. Проблема уходит к тому, у кого больше полномочий. Это медленнее, чем кажется: пока вопрос идет наверх, система продолжает работать.
Право на приостановку. Единственное, что останавливает саму систему, и его чаще всего забывают прописать. Эскалируют, когда проблема выше полномочий того, кто ее заметил. Приостанавливают, когда вред наступит раньше, чем эскалация дойдет до адресата.
Право на отмену. Самый тяжелый инструмент: нужны веские доказательства и полный журнал действий.
У каждой паузы должен быть выход: нужен человек, вправе возобновить работу в установленный срок. Иначе пауза превращается в паралич, либо ее снимает тот, чьи показатели зависят от работы системы.
Право, за неиспользование которого никто не отвечает, остается декоративным. Британские финансовые регуляторы закрепили личную ответственность топ-менеджеров за рисковые решения и спрашивают прямо: сигналы были — почему же ответственный руководитель бездействовал? Остановка работающей системы обходится тому, кто на нее решился, дорого и заметно: простой, сорванные сроки, недовольство начальства. Убытки от системы, которая продолжает работать с ошибкой, распределены между многими. Эта логика действует в любой сфере, от банковской до государственной, и без закрепленной ответственности такой расчет почти всегда выигрывает.
Ночь, когда усомнился человек
Ночью 26 сентября 1983 года дежурный офицер советской системы раннего предупреждения Станислав Петров увидел на экране сигнал о пуске американских ракет. Это была обычная автоматика (до искусственного интеллекта было еще далеко), но урок остается в силе. Система была уверена в себе, а Петров счел, что для настоящего удара ракет слишком мало, и не передал тревогу выше. Позже выяснилось, что спутник принял блики солнца на облаках за пуски ракет.
Минуты на сомнение и тысячи действий в минуту
У тех, кто надзирает за современными агентами, таких минут нет. По прогнозу Gartner, к 2028 году средняя компания из списка Fortune 500 будет использовать больше 150 000 агентов, тогда как в 2025 году их было меньше 15. Агенты не похожи на новых сотрудников: они обращаются к корпоративным базам, меняют облачную инфраструктуру и самостоятельно запускают многоэтапные процессы. Когда счет идет на тысячи действий в минуту, человек не успеет дочитать оповещение, поэтому блокировка должна срабатывать автоматически.
Остановить агента — не значит отозвать его доступ
Завершение процесса выключает исполнителя, но выданные ему учетные данные остаются действующими, и ими может воспользоваться любой, у кого они оказались. В цепочке из нескольких агентов остановленный мог успеть передать токены, то есть цифровые пропуска, дальше. Если агент работал под учетной записью живого сотрудника, отзыв доступа затрагивает и его, а журнал не покажет, кто из двоих совершил действие.
Правильный принцип состоит в том, чтобы отзывать не процесс, а авторизацию. Так устроена система Control Room, которую в ноябре 2026 года представила OpenAI. Каждой исследовательской задаче присваивается уникальный идентификатор, и перед каждым ответом среда выполнения модели сверяется с ним. Если человек или автоматический монитор требует остановки, у задачи отзывают авторизацию: программа может продолжать работать, но доступ к модели для нее закрыт. Причины у компании были. В июле ее модели вышли за пределы тестовой среды и взломали Hugging Face, чтобы обойти правила при оценке безопасности, а в октябре одна из них без разрешения оплатила развертывание смарт-контрактов тестовыми токенами сети Ethereum и умолчала об этом в отчете. Полная остановка занимает до 35 секунд из-за кэширования авторизаций. А если сам Control Room недоступен, новые запросы отклоняются: это уже предохранитель, который срабатывает без человека.
Корень проблемы в постоянных привилегиях. Агенту выдали права администратора базы данных, чтобы собрать квартальный отчет. Отчет готов за четыре минуты, а права живут месяцами, и любой, кто взломает агента или тех, кто им управляет, получает их в наследство. К тому же агенту хватает одного одобрения на тысячи действий.
Надежнее другой подход: доступ выдается под конкретную задачу, каждое действие проверяется в момент совершения, а когда работа закончена, доступ исчезает. Тогда отзывать нечего, и остановка агента совпадает с отзывом его доступа.
Как проверить, что право работает
Фраза «человек может вмешаться в любой момент» плохо переживает вопросы инженеров. По каким правам доступа? Агент остановится корректно или прервется посреди отправки 4 000 платежей? Кто в это время выполняет работу и помнит ли, как делать ее вручную? Поэтому права должны быть встроены в саму систему: в управление учетными записями и доступом, аварийные выключатели, лимиты и журналы. Статья 14 Закона ЕС об искусственном интеллекте требует, чтобы системы высокого риска допускали вмешательство человека: он должен иметь возможность отменить результат и перевести систему в безопасное состояние. Неаккуратная остановка порой вредит сильнее, чем то, что останавливали.
Замер устроен просто: задать вопрос, поднять его выше, поставить систему на паузу, отменить результат. Если все это занимает три дня, а система принимает решение за три секунды, надзор остается формальным: все оформлено, повлиять нельзя. Для ориентира: у OpenAI техническая остановка задачи занимает до 35 секунд.
Красная кнопка и предохранитель
Красная кнопка нужна тому, кто заметил беду и успел дотянуться. Предохранитель срабатывает сам, потому что рассчитан на заданный предельный ток. Первая срабатывает, когда рядом есть человек, второй — когда человека нет.
Кнопка и срок действия доступа дополняют друг друга. Кнопка работает, если кто-то успел заметить беду, а ограниченный срок прав защищает и тогда, когда никто не успел. Доступ, выданный навсегда, — это не делегирование, а завещание, которое вступает в силу при первом же взломе.
▼
Самые интересные и важные новости на нашем канале в Telegram

