Физик Ричард Фейнман говорил: «Если ты не можешь объяснить это просто, значит, ты сам не понимаешь этого достаточно хорошо». Прошло почти полвека, а фраза внезапно стала техническим требованием — только теперь объяснять приходится не физические явления, а решения, которые за нас принимает алгоритм.
Вопрос, который звучит просто, пока его не задал юрист
Когда решение — диагноз, отказ в кредите, приговор, сделка — приписывают алгоритму, разговор обычно заканчивается фразой «нейросеть так посчитала». Проблема в том, что эта фраза объясняет процесс, но не оправдывает результат. Она отвечает на вопрос «как», но не на вопрос «почему это можно было использовать» и «кто теперь отвечает за последствия».
Это различие незаметно ровно до момента, пока кто-то — регулятор, пациент, суд, инвестор — не задает второй вопрос.
Медицина: когда рекомендация есть, а объяснения нет
Одним из самых известных случаев остается система поддержки принятия решений в онкологии от IBM, которую в нескольких клиниках использовали для подбора терапии. Журналистское расследование издания STAT в 2017 году выяснило, что система нередко предлагала лечение, которое врачи считали небезопасным или устаревшим, при этом объяснить логику конкретной рекомендации было практически невозможно. Врачи оказывались в положении, где формально решение принимал человек, а фактически — обосновать его можно было только ссылкой на систему.
Найм: алгоритм, который никто не мог объяснить
В январе 2026 года в Калифорнии был подан коллективный иск против компании Eightfold AI, чью платформу для оценки кандидатов используют Microsoft, PayPal и другие крупные работодатели: истцы утверждают, что система тайно присваивала соискателям оценку от нуля до пяти и отсеивала слабые анкеты еще до того, как их видел хоть один человек, — при этом кандидат не мог ни узнать, на основании чего вынесен отказ, ни оспорить его. Показательно, что иск не строится на обвинении алгоритма в предвзятости — претензия в том, что он действовал скрытно, без права на объяснение.
Сама компания с претензией не согласна и настаивает, что работает только с данными, которые кандидаты и работодатели предоставляют добровольно и осознанно. Но даже если этот довод устоит в суде, структура претензии показательна сама по себе: решение принимается системой, о существовании которой человек может не подозревать, а ответственность за это решение формально распределена между разработчиком платформы и нанимающей компанией — и потому фактически ее не несет никто.
Суд: балл риска без права на объяснение
Система COMPAS, применяемая в ряде судов США для оценки риска повторного правонарушения, столкнулась с похожей критикой. Расследование ProPublica в 2016 году показало, что итоговый балл риска чаще завышался для темнокожих обвиняемых по сравнению с белыми при сопоставимых обстоятельствах. При этом ни подсудимый, ни его адвокат не могли получить полное объяснение, почему алгоритм присвоил именно такой балл: методика оставалась коммерческой тайной разработчика. Решение суда основывалось на выводе системы — но ответственность за этот вывод юридически была размыта между разработчиком и судом.
Финансы: цена сорока пяти минут без надзора
Классический пример из другой сферы — крах Knight Capital в 2012 году, когда сбой в торговом алгоритме привел к убытку в $440 млн всего за сорок пять минут торгов. Формально решения принимала машина, действовавшая в рамках заданной логики. Но вопрос «почему этой логике позволили работать без достаточного контроля» оказался куда важнее вопроса «что именно сделал алгоритм» — и ответить на него пришлось уже людям, а не системе.
Ответственность не исчезает — она перемещается
Во всех этих случаях повторяется одна и та же структура. Систему обучают или настраивают. Она начинает предлагать решения быстрее и в большем объеме, чем человек способен проверить каждое из них по отдельности. Постепенно фраза «так решила нейросеть» превращается из технического комментария в фактическое обоснование — притом что юридически и этически обоснованием она быть не может.
Разумный ответ на это — не отказ от использования подобных систем, а перенос человеческого труда с этапа исполнения на этап постановки задачи и контроля. Прежде чем система начинает предлагать решения, стоит четко зафиксировать, какую цель она обслуживает и какие ограничения обязана соблюдать. После того как решение получено, кто-то обязан проверить его соответствие этой цели и зафиксировать саму проверку — а не только результат.
Работающий контроль редко держится на одной проверке. Обычно это несколько независимых барьеров подряд: правило, определяющее, какие задачи вообще можно доверить системе; проверка на раннем этапе, прежде чем решение пойдет дальше; независимый взгляд другого человека или другой системы; и, наконец, контроль перед тем моментом, когда решение станет необратимым.
Любой отдельный барьер может дать сбой. Расчет делается не на том, что этого не произойдет, а на том, что сбой одного барьера будет перехвачен следующим.
Доверие как валюта
Долгое время контроль воспринимался как издержка, тормозящая процесс. С ростом доли решений, принимаемых алгоритмами, ситуация меняется на противоположную. Организации, способные быстро объяснить, почему было принято то или иное решение, показать документированный путь от намерения до результата, получают конкурентное преимущество: они быстрее проходят проверки, увереннее отвечают регуляторам, меньше рискуют при сделках и аудитах.
В мире, где решения генерируются со скоростью, недостижимой для человека, способность объяснить их становится редким и дорогим ресурсом.
Простой тест применим практически в любой сфере, где решения все чаще подсказывает система: возьмите одно недавнее значимое решение и задайте три вопроса.
- Какую цель или требование это решение реализует?
- Где это требование зафиксировано?
- Кто и как проверил, что результат соответствует замыслу?
Если ответы находятся сразу и без усилий — процесс выстроен. Если ответы приходится собирать по переписке, памяти отдельных людей или вовсе восстанавливать задним числом — это и есть та самая уязвимость, которую увеличение доли автоматических решений будет только усугублять.
Цена объяснения
Нейросеть может предложить решение за секунды. Но она не может встать перед регулятором, объяснить логику отказа в кредите или взять на себя ответственность за упущенную выгоду. Ответственность — это ресурс, который нельзя автоматизировать, потому что она существует не в коде и не в весах нейросети, а в отношениях между людьми: тем, кто принял решение, и тем, кто от этого решения пострадал или выиграл.
Искусственный интеллект не заменяет объяснение — он делает его дефицитным товаром. И чем быстрее машины учатся предлагать ответы, тем дороже становится умение сказать, почему именно этот ответ был выбран и кто готов за него отвечать.
▼
Самые интересные и важные новости на нашем канале в Telegram