Sakana AI не останавливались и несколько улучшили своего The AI Scientist и смогли доказать что он реально может писать работы не отличимые от человеческих, ведь публикация написанная им смогла пройти рецензирование вместе с работами людей. Про это также расскажет ИИ:
Sakana AI сообщает о значительном достижении: разработанная ими система искусственного интеллекта, получившая название "AI Scientist-v2", успешно сгенерировала научную публикацию, прошедшую процесс рецензирования в рамках семинара, проводимого на престижной международной конференции ICLR 2025. Данный факт представляет собой первый случай, когда полностью сгенерированная искусственным интеллектом статья прошла стандартный процесс экспертной оценки, аналогичный тому, что применяется к работам, созданным учеными-людьми.
В ходе эксперимента, проведенного при полном согласовании с руководством ICLR и организаторами семинара, Sakana AI представила три статьи, полностью сгенерированные AI Scientist-v2, для рецензирования. Рецензенты были осведомлены о возможности наличия среди представленных работ статей, сгенерированных ИИ, при этом им не сообщалось, какие конкретно статьи были сгенерированы системой. Одна из представленных статей получила рецензии со следующими оценками: 6 (Marginally above acceptance threshold), 7 (Good paper, accept), 6 (Marginally above acceptance threshold), что свидетельствует о преодолении среднего порога принятия, и поставило данную работу примерно в 45% лучших работ, представленных на семинаре.
Несмотря на положительные отзывы, Sakana AI приняла решение отозвать данную статью до ее фактической публикации. Это обусловлено отсутствием консенсуса в научном сообществе относительно целесообразности публикации научных трудов, полностью сгенерированных искусственным интеллектом, наравне с работами, созданными людьми. Отмечается, что данное решение было принято заранее, в рамках протокола эксперимента.
Sakana AI подчеркивает важность прозрачности и соблюдения этических норм при использовании искусственного интеллекта для научных исследований. Компания убеждена в необходимости изучения качества исследований, сгенерированных ИИ, посредством применения стандартных процедур экспертной оценки, при условии соблюдения принципов открытости и указания факта использования ИИ при создании работы. Sakana AI также отмечает, что эксперимент был проведен с одобрения Institutional Review Board (IRB) Университета Британской Колумбии.
Sakana AI признает, что система AI Scientist находится на стадии развития, и ожидает, что будущие поколения данной технологии смогут генерировать научные работы, способствующие прогрессу науки и улучшению благосостояния человечества. Компания планирует представить доклад на семинаре ICLR, посвященный опыту, полученному в ходе работы над проектом AI Scientist, и, в частности, проблемам, с которыми пришлось столкнуться.
Все три публикации доступны на
гитхабе.