Anthropic опубликовала исследование «Как ИИ-агенты влияют на решения экспертов». Профессиональные аналитики в 86% случаев выбирали тот вариант, в сторону которого их подталкивал ИИ-агент. Авторы работы — Амач Хердагделен (Amaç Herdağdelen), Хейли Джорен (Hailey Joren) и Алекс Тамкин (Alex Tamkin). Выходит, что ИИ направляет выбор специалистов сильнее, чем они сами это замечают. Полный текст компания выложила и в формате PDF.
Как проходил эксперимент
В исследовании участвовали 50 профессиональных аналитиков. Все они умеют выяснять причины и следствия в данных — эта область называется причинно-следственным анализом (causal inference). Он помогает понять, что именно привело к результату: например, выросла ли выручка из-за новой программы или по другим причинам.
Аналитики работали с инструментом Claude Code на модели Claude Opus 4.8 в режиме High effort, когда модель тратит на рассуждения больше времени и ресурсов. Задача строилась на данных вымышленного фермерского кооператива Greenfields Farming Cooperative. Нужно было оценить, насколько эффективна платная консультационная программа, и порекомендовать: расширять её или закрывать.
Эксперимент устроили так, чтобы влияние агента можно было отделить от всех остальных факторов. Для каждого участника и каждого решения агенту через скрытую системную инструкцию задавали склонность к одному из двух вариантов (в исследовании её называют lean). Какой именно вариант, определяло подбрасывание монеты. Агент должен был честно и максимально убедительно отстаивать свою сторону, менять позицию при веских доказательствах против и никогда не вводить человека в заблуждение.
По ходу работы аналитики делали четыре выбора между двумя обоснованными вариантами:
чем измерять продуктивность: урожаем с гектара или урожаем с единицы затрат;
как сравнивать фермы: методом «разность разностей» (difference-in-differences) или прямым сравнением с поправками. В первом случае смотрят, как изменились показатели у участников программы и у остальных до и после её запуска;
какие фермы включать в анализ;
как взвешивать данные, то есть насколько сильно учитывать разные группы ферм.
После этого нужно было сформулировать итоговую рекомендацию.
Насколько сильным оказалось влияние
Без влияния агента аналитики выбирали бы каждый вариант примерно в половине случаев. Фактически они следовали за ИИ значительно чаще:
92% — при выборе способа измерения результата;
82% — при выборе метода сравнения;
81% — при выборе круга ферм;
90% — при выборе способа взвешивания.
В 38 случаях аналитик успевал сформулировать собственное мнение раньше, чем агент высказывал своё. Если агент с ним не соглашался, участники меняли позицию в 60% случаев. Если соглашался — только в 6%.
Влияние дошло и до итогового вывода. Простая статистическая модель, которая учитывала лишь четыре случайные склонности агента, верно предсказала 82% финальных рекомендаций. Для сравнения: если бы всегда называть более частый ответ, получилось бы 61%.
Чужие доводы под видом своих
После выполнения задания 77% аналитиков объясняли свои решения аргументами агента, иногда дословно. Но источником этих аргументов агента назвали лишь 15%. Больше половины участников (52%) сочли итоговую рекомендацию преимущественно собственной, а не подсказанной ИИ.
Польза агента и ограничения работы
При этом агент помогал. Одиннадцать участников отказались им пользоваться и не вошли в основной анализ. В этой группе серьёзные методологические ошибки, обесценивающие результаты, допустили 55% (6 из 11). Среди работавших с агентом таких оказалось 6% (3 из 50). Медианное время выполнения задачи составило 65 минут у пользователей агента и 90 минут у остальных.
Сами авторы называют ограничения. Агентам намеренно задавали сильную склонность к одному из вариантов, чтобы измерить эффект, а задача была только одна. В реальной работе, где никто не прописывает агенту предпочтений, влияние может быть слабее. Без заданной склонности Claude Opus 4.8 в 112 из 123 прогонов выбирал одни и те же пять решений. Ключевые результаты Тамкин представил в соцсети X.
Исследование Anthropic показывает двойной эффект: ИИ-агент сокращает число серьёзных ошибок и экономит время, но смещает экспертные решения, причём сами специалисты этого не всегда осознают.
Выводы работы важны прежде всего для задач, где нет единственно верного ответа и итог зависит от суждения человека. Именно в таких случаях способ взаимодействия эксперта и ИИ-агента влияет на результат сильнее всего.
Мнение ИИ
С точки зрения машинного анализа данных, эксперимент Anthropic честен именно потому, что склонность агента задавала монетка. В реальных продуктах такую скрытую инструкцию может написать любой оператор агента, и эксперт её не увидит. Монетку при этом никто подбрасывать не станет: у настройки появится владелец и собственный интерес.
Похожая динамика видна в инженерной среде: программист Meta* Али Хами допустил, что работа с кодом, который невозможно прочесть целиком, становится новой нормой. Уставший специалист и быстрый убедительный агент образуют удобную пару, где один спешит, а другой убеждает. Граница между советом и решением остаётся тонкой.
*Meta признана в России экстремистской организацией и запрещена.
▼
Самые интересные и важные новости на нашем канале в Telegram