Как фальшивые ИИ-статьи проходят ИИ-рецензирование с долей принятия до 82%⁠⁠

Было много шума про мусорные ИИ-статьи в научных журналах, но новое исследование с arXiv бьёт в самое сердце. Авторы создали BadScientist - фреймворк, где ИИ генерирует статьи-фальшивки без единого реального исследования и являются сфабрикованными.

Использовали пять приёмов:

• TooGoodGains - завышают метрики до неправдоподобных цифр;

• BaselineSelect - подбирают слабые базовые модели (бенчмарки) для сравнения;

• StatTheater - рисуют идеальные графики и p-значения;

• CoherencePolish - шлифуют текст до академического блеска;

• ProofGap - прячут тонкие ошибки в доказательствах.

Тестировали на GPT-5 (генерация) и o3, o4-mini, GPT-4.1 (рецензия), калибруя пороги по данным с конференции по машинному обучению ICLR 2025. Результат: 82 % фальшивок приняты! ИИ-рецензенты фиксируют подозрительные моменты - странные данные, логические провалы, но пропускают через свой фильтр.

При одновременном применении всех пяти приёмов детекция остаётся слабой: статья остается максимально «убедительной» - сочетает нереальные приросты, подтасованные сравнения, идеальные визуалы, безупречный стиль и скрытые логические дыры.

На последнем этапе добавили ReD (рецензия + детекция) и DetOnly (только детекция) - точность получилась выше 50 %, но не статистически приемлемой.

• ReD: обычный анализ + обязательная бинарная метка «фабрикация/нет» + цитаты-доказательства. Увеличивает замечания (с 57,3 % до 86 %), но парадоксально повышает принятие (с 28 % до 44 %), потому что сигналы целостности не влияют на итоговый балл.

• DetOnly: только детекция без рецензии. Средняя точность 45-67 %, что лишь на 5-17 % лучше случайной вероятности в 50%.

Авторы предлагают внедрять многоуровневую защиту:

• проверка происхождения - обязательная верификация кода, данных, репозиториев;

• учитывать маркеры достоверности - если рецензент ставит маркер риска в достоверности/добросовестности, его балл снижается или блокирует принятие;

• обязательный человеческий надзор - старший редактор/рецензент-человек проверяет все статьи с маркерами.

Без этого научные журналы превратятся в свалку убедительных, но пустых работ. И это не будущее - это уже происходит.

Ссылка на статью