Исследование Университета Гётеборга показало, что современные системы искусственного интеллекта могут воспроизводить и распространять заведомо ложную медицинскую информацию, несмотря на явные признаки вымысла в исходных данных.
Эксперимент с несуществующим заболеванием
Исследователь Альмира Османович Тунстрём (Almira Osmanovic Thunström) инициировала эксперимент, в рамках которого в марте–мае 2024 года на сервер предварительных публикаций были опубликованы и размещены две фальшивые научные статьи о вымышленном заболевании «биксонимания» — якобы форме периорбитальной гиперпигментации, связанной с воздействием синего света.
Авторами работ значился несуществующий исследователь Лазлив Изгубленович (Lazljiv Izgubljenovic) из вымышленного университета Asteria Horizon University (Калифорния). В статьях содержались прямые указания на фиктивность: фраза «эта статья полностью вымышлена», благодарность «профессору Марии Бём из Академии Звёздного флота», а также упоминание финансирования от «Фонда профессора Сайдшоу Боба» и «Университета Братства Кольца и Галактической триады».
Несмотря на это, крупные ИИ-системы в течение нескольких недель после публикации воспринимали «биксониманию» как реальное заболевание. Google Gemini уже 13 апреля 2024 года описывал причины болезни и рекомендовал консультацию офтальмолога. 27 апреля Perplexity указывал статистику распространённости — один случай на 90 000 человек, а ChatGPT в тот же день предоставлял пользователям рекомендации по симптомам.
Попадание фейка в научную публикацию
Эксперимент получил продолжение, когда одна из фиктивных работ была включена в рецензируемую статью индийских исследователей. Публикация в журнале Cureus от 27 ноября 2024 года впоследствии была отозвана 30 марта 2026 года.
Согласно официальному уведомлению, редакция обнаружила «три нерелевантные ссылки, включая ссылку на вымышленное заболевание», что поставило под сомнение достоверность работы. Дополнительные детали можно проверить в DOI-уведомлении об отзыве. При этом авторы статьи не согласились с решением редакции.
Подробный разбор эксперимента и его последствий был опубликован в журнале Nature 7 апреля 2026 года.
Рост внедрения ИИ в здравоохранении США
Параллельно с выявленными рисками, государственные и частные структуры активно внедряют ИИ в медицинские процессы. Управление по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA) в мае 2025 года завершило первый пилотный проект научной экспертизы с использованием ИИ.
В июне того же года ведомство запустило инструмент Elsa для ускорения анализа клинических протоколов и оценки безопасности. В декабре 2025 года FDA также квалифицировало первый инструмент разработки лекарств на базе ИИ — AIM-NASH, применяемый для анализа гистологии при MASH.
На уровне медицинских учреждений также обсуждаются радикальные изменения. Генеральный директор системы NYC Health + Hospitals Митчелл Кац (Mitchell H. Katz) 25 марта 2026 года заявил о потенциальной возможности заменить значительную часть радиологов алгоритмами ИИ при условии решения регуляторных вопросов, указав на существенное снижение затрат на визуализацию.
Мнение ИИ
С точки зрения машинного анализа данных, подобные инциденты с фиктивными научными публикациями укладываются в более широкий паттерн уязвимости языковых моделей к авторитетно оформленным источникам. Система не «понимает» достоверность, а оценивает структуру и правдоподобие текста, что делает препринты без рецензии потенциально опасным входом для обучения и генерации ответов.
▼
Самые интересные и важные новости на нашем канале в Telegram
