Блокчейн, финтех, новая экономика, блэкджек

Платная версия ChatGPT тупеет, считают эксперты

Новости

Ученые из Стэнфордского университета и Калифорнийского университета в Беркли обнаружили, что качество ответов платной версии ChatGPT значительно ухудшилось за последние месяцы. Они провели сравнительный анализ двух основных языковых моделей ChatGPT — GPT-4 и GPT-3,5 — на разных типах задач, связанных с математикой, кодированием, визуальным мышлением и деликатными вопросами.

Трое ученых — Матей Захария (Matei Zaharia), Лингяо Чен (Lingjiao Chen) и Джеймс Зоу (James Zou) — опубликовали научную работу под названием «Как меняется поведение ChatGPT с течением времени» (How is ChatGPT’s behavior changing over time). Они разработали специальные метрики для оценки качественных аспектов работы языковых моделей ChatGPT и применили их к GPT-4 и GPT-3,5.

Оказалось, что новейшая модель GPT-4, которая была представлена OpenAI две недели назад как самая продвинутая и функциональная ИИ-модель, не справляется даже такими запросами, как определение простых чисел. Ее точность в решении этой задачи снизилась с 97,6 % в марте до 2,4 % в июне. В то же время GPT-3,5, которая используется для обычного ChatGPT (бесплатная версия), показала улучшение качества ответов в некоторых задачах.

Качество генерации строчек кода заметно ухудшилось в последние несколько месяцев. Кроме того, в марте старая модель давала более развернутые объяснения, почему не может ответить на некоторые деликатные вопросы, например об этнической принадлежности людей.

Исследователи надеются продолжить свой проект в долгосрочной перспективе и следить за изменениями поведения ChatGPT. Они также призывают OpenAI быть более открытой и прозрачной в отношении качества своих ИИ-моделей и регулярно проводить и публиковать свои собственные тесты.

Это исследование вызвало беспокойство среди пользователей и клиентов ChatGPT, которые полагаются на этот ИИ для различных целей. ChatGPT — это популярный сервис, который позволяет общаться с ИИ на разных языках и получать разнообразные ответы. Однако если качество ответов ИИ будет продолжать падать, это может негативно сказаться на жизни и работе многих людей и организаций. Исследователи предупреждают: если вы используете в своей работе ChatGPT, вам необходимо внедрить процедуры контроля результатов, чтобы не получить от искусственного интеллекта неприятный сюрприз.


Самые интересные и важные новости на нашем канале в Telegram

Понравилась статья?

Подпишись на e-mail рассылку и будь всегда в курсе последних событий
BTC
96428-1.26%
ETH
3319.34-2.58%
BCH
504.06-0.38%
XRP
1.35-6.90%
Ту зе МУН