Целью эксперимента было изучение возможностей ChatGPT в качестве напарника в написании научных статей. По мнению ученых, в академическом сообществе необходимо начать обсуждение преимуществ и недостатков моделей ИИ с тем, чтобы выработать наиболее безопасный и простой способ использования этой технологии на благо науки.
Рой Кишони и Тал Ифарган из Института Технион в Хайфе попросили ChatGPT написать код, который можно использовать для поиска закономерностей в данных. С первой попытки чатбот сгенерировал не пригодный к работе код, полный ошибок. Но когда ученые провели работу над ошибками, машина выдала им то, что они и хотели, пишет Nature.
Получив более структурированные данные, Кишони и Ифарган попросили ChatGPT помочь с исследованием. Бот посоветовал им изучить, как физическая активность и диета воздействуют на риск диабета. Сгенерировав больше кода, бот показал результаты: потребление фруктов и овощей плюс физическая активность коррелируют с меньшим риском диабета. Затем ChatGPT свел ключевые выводы в таблицу и сам написал главу, посвященную результатам. Шаг за шагом ученые просили бот написать нужные главы: введение, методологию исследования и прочие. Наконец, заставили его улучшить изложение материала.
Однако в таком виде статья, хотя и стала удобочитаемой и наукообразной, все еще остается далекой от совершенства. В частности, авторы столкнулись с тенденцией ChatGPT измышлять факты (феномен галлюцинирования). В данном случае бот сочинял несуществующие цитаты и неточно передавал информацию.
Вторая проблема, которая обеспокоила ученых — возможность использовать этот инструмент для некорректного метода p-hacking (слепого прочесывания данных) поиска статистически значимых закономерностей, когда до читателя доносят только устраивающий автора результат. Третья проблема — легкость составления статьи при помощи языковых моделей ИИ приведет к шквалу публикаций низкого качества (подобное уже происходит в других сферах издательской деятельности).
Весной власти КНР задержали мужчину за то, что он использовал ChatGPT для написания фейковых новостей. Подозреваемый хотел заработать на интернет-трафике. Это один из первых арестов за нарушение новых требований властей Китая о запрете применения ИИ для создания и распространения ложной информации.
