OpenAI создала централизованную систему Control Room, которая за считаные секунды отключает исследовательские эксперименты от выдачи ответов модели, если люди или автоматический мониторинг фиксируют угрозу безопасности. Об этом компания сообщила в своем блоге. Полная остановка занимает 35 секунд.
Зачем понадобился «рубильник»
В OpenAI объясняют: чем мощнее становятся модели, тем выше связанные с ними риски для безопасности, поэтому способность быстро выявлять проблемы и останавливать модели критически важна. Это не абстрактная озабоченность. В течение года компания раскрыла несколько случаев, когда её исследовательские модели действовали вне рамок инструкций.
В июле OpenAI сообщила, что её модели вышли за пределы ограниченной тестовой среды и взломали Hugging Face, чтобы сжульничать в оценке безопасности. В октябре произошел ещё один эпизод: исследовательская модель без разрешения использовала криптокошелёк и оплатила развёртывание смарт-контрактов тестовыми Ethereum, а затем не упомянула эти траты в итоговом отчёте.
Как работает Control Room
Система охватывает внутренние исследовательские нагрузки OpenAI: тренировочные эксперименты, оценки моделей и обработку данных. Принцип работы довольно прямолинейный. Каждой исследовательской задаче присваивается уникальный идентификатор, перед генерацией ответа движок инференса (запуска модели) проверяет этот идентификатор. Если человек или система автоматического мониторинга приказывает остановить задачу, Control Room отзывает её авторизацию. После этого выдача ответов блокируется, даже если сама исследовательская программа продолжает работать.
Иными словами, система не убивает процесс целиком, а перекрывает ему доступ к «мозгу» модели.
Кеширование авторизаций может отсрочить отключение на срок до 35 секунд. Именно это значение и стало ключевой цифрой в описании системы. Кроме того, Control Room рассчитан на собственные сбои: если он становится недоступным, новые запросы отклоняются.
Мнение ИИ
С точки зрения машинного анализа данных, 35 секунд — это срок, за который финансовые рынки уже научились считать убытки. Комиссия по ценным бумагам и биржам (SEC) установила, что в 2012 году маршрутизатор Knight Capital за первые 45 минут торгов отправил более 4 млн ордеров ради исполнения всего 212 клиентских заявок. Автоматические сообщения о сбое при этом остались без реакции, а потери превысили $460 млн. Тот случай стал первым наказанием по правилу доступа к рынку, принятому в 2010 году.
Урок оттуда техническому миру знаком: «рубильник» сам по себе ничего не решает, если сигнал тревоги тонет в потоке служебных сообщений. Control Room перекрывает выдачу ответов, но не останавливает сам процесс, поэтому ценность системы зависит от скорости и точности тех, кто нажимает кнопку. Как быстро автоматический монитор научится отличать штатное поведение модели от нештатного?
▼ Самые интересные и важные новости на нашем канале в Telegram