ChatGPT резко «отупел». После недавнего обновления, языковая модель GPT-4 в некоторых случаях почти никогда не даёт правильный ответ. Решение математической задачи верно лишь в 2,4% случаев против 97,6%, бывших ещё в марте, говорится в недавно опубликованном исследовании.
Свежее исследование показало, что на июнь 2023 года языковая модель GPT-4, лежащая в основе чат-бота, стала намного «глупее», чем та же модель, но на март 2023 года. При этом языковая модель GPT-3.5, напротив, в большинстве задач стала лучше, хотя и у неё есть проблемы.
Исследователи Стэнфордского университета задавали чат-боту различные вопросы и оценивали правильность ответов. Причём речь шла не о каких-то абстрактных вещах, а о вполне конкретных. К примеру, Искусственный Интеллект (ИИ) должен был ответить, является ли число 17 077 простым. Дабы лучше понять процесс «размышления» ИИ, а заодно улучшить результат, чат-бота попросили расписывать свои вычисления шаг за шагом. Обычно в таком режиме ИИ чаще отвечает правильно.
Однако это не помогло. Если ещё в марте модель GPT-4 давала правильный ответ в 97,6% случаев, то в июне показатель упал до 2,4%. То есть почти никогда чат-бот не мог правильно ответить на вопрос. В случае GPT-3.5 показатель, напротив, вырос с 7,4% до 86,8%.
Ухудшилась и генерация кода. Учёные создали набор данных с 50 простыми задачами из LeetCode и измерили, сколько ответов GPT-4 выполнялись без каких-либо изменений. Мартовская версия успешно справилась с 52% проблем, но при использовании июньской модели этот показатель упал до 10%.
Снижение «умственных способностей» ChatGPT в последние недели, может иметь две основные причины:
# компания OpenAI сделали бота ChatGPT-4 «глупее» намеренно;
# снижение способностей ИИ влияет куча низкокачественных запросов от пользователей.
