Опубликовано 19 июля 2023, 14:55
1 мин.

ChatGPT пока что проигрывает человеку в определении фейковых новостей

Надолго ли
В недавнем исследовании, проведенном исследователем из Университета Висконсин-Стаут, изучалась способность больших языковых моделей (LLM) выявлять фальшивые новости. В исследовании оценивалась производительность четырех известных LLM: Chat GPT-3.0 и Chat GPT-4.0 от OpenAI, Bard/LaMDA от Google и Bing AI от Microsoft.
ChatGPT пока что проигрывает человеку в определении фейковых новостей

Используя тестовый набор из 100 проверенных фактов, полученных от независимых агентств по проверке фактов, он оценивал, насколько точно LLM классифицируют новости как истинные, ложные или частично истинные/ложные. Цель исследования - понять возможности и ограничения LLM в борьбе с дезинформацией.

Результаты показали, что GPT-4.0 от OpenAI показал наилучшие результаты среди протестированных LLM. Однако все LLM по-прежнему отстают от человеческих специалистов по проверке фактов, что подчеркивает непреходящую ценность человеческого познания в этой области.

В исследовании подчеркивается необходимость развития возможностей ИИ для проверки фактов при сохранении сбалансированной интеграции с человеческими навыками.