https://www.youtube.com/watch?v=GqR08ahEeKU. Сделал небольшую экранизацию первого раунда исследования про Пушкина и нейросети, призываю посмотреть! В создании видео я совсем зелёный новичок, так что прошу ногами сильно не бить.
Где Пушкин? Итоги первого раунда и десять новых пар
Вчера здесь был пост про тест «Где Пушкин?». В каждой из десяти пар один отрывок настоящий, а второй написала нейросеть Claude. Нужно угадать, где Пушкин.
Спасибо всем, кто прошёл, и всем, кто спорил в комментариях. Тест прошли 332 человека. Повторные попытки я не считаю, как и тех, кто пролистал всё меньше чем за полминуты.
Что вышло:
— в среднем угадывали 47% пар, примерно как при выборе наугад;
— пары очень разные: одну узнавали около 70% людей, другую около 30%.
Вывод скромный: на этих десяти коротких отрывках большинство не отличило Пушкина от подделки. Из этого не следует, что «нейросеть пишет как Пушкин», и тем более что читатели чего-то не знают. Восемь строк без названия и контекста — это очень мало. Стихи нарочно взяты малоизвестные, не из школьной программы. Иначе тест решался бы памятью.
Я не пытаюсь доказать, что нейросеть лучше поэтов. Мне интересно другое: хватает ли короткого отрывка, чтобы узнать живого автора.
Второй раунд
В нём десять новых пар, стихи Пушкина 1817–1835 годов. Отбор тот же:
— программа брала начала коротких стихотворений с чёткой рифмой из академического собрания сочинений;
— самые известные стихи убраны вручную;
— подделку к каждому отрывку нейросеть написала один раз, тем же размером и с той же рифмовкой. Из нескольких вариантов лучший никто не выбирал.
Чтобы не было вопросов про подгонку, план подсчёта итогов опубликован заранее: https://osf.io/6jcaq. Итоги будут подведены по этому плану, какими бы они ни вышли.
Пройти: https://gde-pushkin.lovable.app/r2
Если не открывается (в России часто без VPN), есть зеркало: https://aisarus.github.io/gde-pushkin/?round=2
Первый раунд тоже открыт: https://gde-pushkin.lovable.app
Регистрации нет, имён и почты тест не собирает, ничего не продаётся. В конце тест сразу показывает правильные ответы и названия стихов.
Одна просьба: не пишите в комментариях, где какой вариант. Это испортит тест тем, кто придёт позже. О самом тесте спорьте сколько угодно.
Итоги второго раунда выложу, когда наберётся 400 человек.
Вижу что у многих не открывается ссылка, что печально, можно попробовать открыть в другом браузере, не знаю.. не специалист, а также что у многих вызывает отторжения разгон про нейросети в книжном сообществе. Понимаю и принимаю, но уж очень интересно исследование на стыке дисциплин, может оно и дальше пойдет, я сам пишу и люблю читать стихи и никогда не отдам это в руки ЛЛМ. Пушкина люди в основном угадали, но тут я взял самую простую пару. Попробую что то сделать со ссылкой, буду рад скринам с ошибкой при попытке открыть. Всем мир!
Нейросети уже неплохо пишут стихи. В 2024 году в журнале Scientific Reports опубликовали опыт: полторы тысячи читателей не смогли отличить стихи Шекспира, Байрона и Дикинсон от подделок ChatGPT «в их стиле» — угадывали хуже, чем наугад. Но это английский язык и обычные читатели.
По-русски такого честного опыта, насколько удалось найти, никто не делал. А русский классический стих с размером и рифмой для машины заметно труднее английского. Вот и проверяем.
Как устроено. 10 пар отрывков по восемь строк. В каждой паре один отрывок — настоящий Пушкин: малоизвестные ранние стихи, чтобы угадывать не по памяти. Второй написала нейросеть Claude тем же размером и с той же рифмовкой, без правок человека. Нужно выбрать, где Пушкин.
В чём вызов. 9–10 из 10 — значит, машине до Пушкина далеко. 5 из 10 — это уровень монетки: подделку уже не отличить. Главный вопрос — ловят ли машину филологи, учителя литературы и те, кто пишет стихи, лучше обычных читателей. Поэтому в начале теста один вопрос: как хорошо вы знаете поэзию.
Анонимно, без регистрации, сохраняются только ответы. В конце — ваш счёт, средний по всем и разбор: где был Пушкин, где машина.
Попробуйте прямо здесь, ответ — в тесте:
А.
За рекой костры дымятся;
Спит в тумане стан чужой;
Нам с рассветом в бой подняться,
Нынче — чарка да покой.
Б.
Перестрелка за холмами;
Смотрит лагерь их и наш;
На холме пред казаками
Вьется красный делибаш.
Когда наберётся достаточно ответов, выложу результаты: кто ловит машину лучше и какие подделки обманывают чаще всего.
