В психиатрической практике есть удивительный феномен: пациент может дать абсолютно корректный ответ на вопрос, но стоит врачу спросить «почему?» — и логика рушится в пользу бреда. «Сколько будет дважды два?» — «Четыре». «Откуда вы это знаете?» — «Мне шепчут голоса в розетке». Современный ИИ демонстрирует поразительно похожее поведение.
Когда правильный ответ встречается с ложным объяснением
Новейший феномен в мире искусственного интеллекта получил название вторичных галлюцинаций — это ситуации, когда ИИ выдает корректную информацию, но при просьбе объяснить свою логику начинает фантазировать. Представьте: вы просите ChatGPT порекомендовать акции для инвестиций, получаете разумный совет купить Apple, а затем интересуетесь обоснованием. В ответ ИИ заявляет, что проанализировал «скрытые паттерны в квартальных отчетах компании за последние восемь лет» и выявил «циклические аномалии в структуре доходов», хотя на самом деле никакого специального анализа не проводил.
Это принципиально отличается от обычных галлюцинаций ИИ, когда система изначально выдает неверную информацию. Здесь мы имеем дело с расщеплением: качественный результат плюс липовое обоснование.
Когда объяснение важнее правильного ответа
Представьте себе корпоративного юриста, который спрашивает у ИИ-помощника о применимости определенного закона к конкретному договору. Система корректно отвечает: «Данная статья применима». Юрист просит объяснения, и получает развернутый ответ о том, что «анализ судебной практики по 340 аналогичным делам показывает 82-процентный успех применения данной нормы, особенно в случаях с участием международных контрагентов, как показывает исследование арбитражных решений за 2019-2024 годы».
Впечатленный глубиной анализа, юрист включает эту «статистику» в меморандум для руководства. Правовая позиция оказывается верной — сделка проходит успешно. Но когда конкуренты запрашивают источники столь точных данных, обман раскрывается. Репутация страдает не из-за неправильного совета, а из-за ложного обоснования правильного решения.
Эпидемия поддельных обоснований
Реальные судебные дела показывают масштаб проблемы с первичными галлюцинациями ИИ. Амир Мостафави (Amir Mostafavi), калифорнийский адвокат, получил рекордный штраф $10 000 за подачу апелляции с 21 поддельной судебной цитатой из 23. База данных AI Hallucination Cases фиксирует уже 486 случаев по всему миру, из них 324 — в американских судах.
Дамьен Шарлотен (Damien Charlotin), исследователь из HEC Paris, который ведет эту базу, отмечает тревожную динамику: если в начале 2025 года он фиксировал несколько случаев в месяц, то к концу года — несколько в день.
Опасные зоны применения
Вторичные галлюцинации особенно проблематичны в сферах, где важна прозрачность принятия решений. В финансовом консалтинге клиент имеет право знать, почему ему советуют определенную стратегию. В образовании студент должен понимать логику решения задач. В медицинской диагностике врач обязан объяснить, на основании чего поставлен диагноз.
Когда ИИ-помощник в банке объясняет отказ в кредите «нестандартными флуктуациями в профиле поведения заемщика», но фактически решение принято по простым критериям вроде низкого дохода, возникает не просто недопонимание — создается иллюзия сложной экспертизы там, где ее нет.
Эффект ложной компетентности
Парадокс вторичных галлюцинаций заключается в том, что они могут повышать доверие пользователей к системе. Сложные объяснения создают впечатление глубокого анализа, даже если они полностью выдуманы. Это особенно опасно для людей без экспертизы в конкретной области — они не могут распознать профессиональную болтовню.
Языковые модели особенно склонны к фантазиям, когда им нужно поддержать сложные аргументы. Как объясняет Шарлотен: «Чем труднее ваш правовой аргумент, тем больше модель будет галлюцинировать, потому что она стремится угодить вам». Анализ Stanford University’s RegLab показал, что некоторые формы ИИ генерируют галлюцинации в каждом третьем запросе.
Почему ИИ придумывает объяснения
Корень вторичных галлюцинаций лежит в архитектуре современных языковых моделей. Они обучены генерировать связный текст, но не всегда способны точно отследить собственные «рассуждения». Когда ИИ дает правильный ответ, это может происходить благодаря статистическим закономерностям в данных, а не логическому выводу. Но при запросе объяснения система пытается реконструировать несуществующую логику.
Это создает странную ситуацию: чем более убедительным кажется объяснение ИИ, тем больше оснований ему не доверять.
Цена ложного доверия
«Пока что у нас будут жертвы, ущерб и крушения», — признался Мостафави после получения штрафа. Эксперты UCLA предупреждают: проблема «станет хуже, прежде чем станет лучше», поскольку юридические школы и фирмы спешат внедрить ИИ, не продумав последствия.
Особенно показателен случай с Chicago Housing Authority, где юридическая фирма Goldberg Segalla получила штраф $60 000 за использование поддельных цитат в деле о свинцовых красках. Адвокат Даниэль Малати (Danielle Malaty) призналась, что не думала, будто ChatGPT может создавать несуществующие судебные цитаты.
Как защититься от ложных объяснений
Разработчики ИИ-систем пока не знают, как решить проблему вторичных галлюцинаций. Существует опасение, что борьба с обычными галлюцинациями может даже усилить этот эффект — система научится давать правильные ответы, но станет еще более изобретательной в их псевдообосновании.
Пока единственная защита — здоровый скептицизм. Если ИИ утверждает, что провел «комплексный анализ 15 факторов с применением нейросетевого моделирования», стоит помнить: возможно, он просто выбрал наиболее популярный вариант из обучающих данных.
В мире, где искусственный интеллект становится оракулом для миллионов решений, вторичные галлюцинации превращаются в новую форму цифрового обмана. Истина, получившая ложное обоснование, становится ложью.
▼
Канал Anton Elston — это актуальная информация об IT, блокчейне, NFT и онлайн-образовании. Здесь развивается метавселенная DEXART и происходит погружение в мир ИИ
