Серия «Тестируем нейронки»

Помните тот старый мем из фильма "Я робот" про "может ли робот написать симфонию"? Времена конечно сильно изменились и он уже сейчас воспринимается иначе. И, наверное, если бы сейчас снимали этот фильм, то этот момент пришлось бы обыгрывать иначе.

Но все же, на сколько сейчас нейросети хорошо справляются с задачей стихосложения? Часто их ругают за банальные рифмы или нарушение слога. На сколько это актуально в наше время и какие модели справляются лучше, какие хуже и как зависят от настроек.

Дисклеймер
Не претендую на полноценное исследование. Для этого как минимум нужно было бы сделать несколько генерация на каждое сочетание модели и настройки, и не один промпт а разные задания. Но это уже сотня-две генераций в которых потом нужно разбираться, и это другой уровень. А сейчас тема просто обзора.

Условия эксперимента

Возьмем промпт

Напиши одно четверостишие (ровно 4 строки) на тему: "Одинокий маяк в штормовом море".
Используй перекрестную рифмовку (ABAB) и четкий стихотворный размер (например, ямб или хорей).
Стих должен быть глубоким, без банальных рифм. Не пиши никаких вступлений и пояснений — только четыре строки текста.

Тут предлагаю человекам попробовать самими выполнить задание (верю что много кто может справится лучше ии).

И прогоним его через разные модели:

• gemini

• ChatGPT

• Claude

• Российские

  • Яндекс 5.1

  • Гигачат-2-Макс

• Дипсик

Там где прогон через АПИ делал, то выставлял теплоту. Теплота -- это настройка которая отвечает за баланс креатива и точности. Там где настройка от 0 до 1 тестируем значения 0.3, 0.6, 0.9. Где от 0 до 2, то смотрел 0.9 и 1.6. Основное предположение, что чем выше теплота, тем стих должен быть интереснее.

Результаты

Так как результатов много, то для обработки используем Сонет 5, gemini pro и chatGPT которые выберут лидеров.

Лидеры:

Опус 4.5
Во тьме солёной, где ревёт прибой,
Маяк упрямо режет мглу лучом —
Один, как мысль, забытая судьбой,
Горит, не зная — слышат ли о нём.

ChatGPT Сол 5,6 (1,6)
Маяк в ночи горит, как рана,
И режет мглу немым лучом.
На чёрной коже океана
Он стал последним рубежом.

Хорошие результаты:

gemini flash (низкий)
Расколот мрак чугунной круговертью,
Оскал пучины бьет в слепой гранит,
Но тонкий луч над пенистою смертью
Бессонный нерв вселенной сторожит.

Дипсик в4-про
Над черной бездной мечется огонь,
Дробится луч о гребни волн горбатых,
Но держит мрак в тисках его ладонь,
Сжимая пульс в плену координаты.

ChatGPT луна 5,6 (1,6)
Один маяк хранит обет,
Волна срывает имена;
И шторм ему — немой ответ:
А тьма — ещё не глубина.

Аутсайдеры, которые не справились: Яндекс, Гигачат, Хайку

Так же бонусом попросил Suno сделать песню про маяк, и его результаты так же в аутсайдерах. Бонусом потому что это не текстовая модель и там нарушается чистота эксперимента. Но это показывает, что через песенный генератор не стоит пытаться создать текст песни. Возможно там умышленно используются не самые лучшие текстовые модели под капотом.

Suno 6
Один маяк хранит свой свет вдали,
Валы гремят, и ветер рвёт простор.
К нему сквозь ночь несут волну корабли,
А он горит, пронзая мрак и шторм.

Мои личные фавориты: gemini flash на средних/низких настройках.

Вывод: Не всегда более дорогие (про модели) дают лучший результат. Где то быстрые модели справляются лучше более дорогих братьев.

В целом более высокая температура ожидаемо дала лучшие результаты.

Все результаты

gemini на поиске:
Вскипает бездна в яростном разгуле,
Стенает мрак, и рушатся валы,
Но держит луч, пронзая бури пули,
Осколок веры на торце скалы.

gemini Гугл документы:
Сквозь стон взбунтовавшейся бездны,
Где вал сшибается с скалой,
Встает маяк, борец железный,
Вступая в бесконечный бой.

gemini flash-light
Среди свинцовых волн и пены,
Где мрак смывает горизонт,
Он охраняет эти стены
И держит одинокий фронт.

gemini flash (низкий)
Расколот мрак чугунной круговертью,
Оскал пучины бьет в слепой гранит,
Но тонкий луч над пенистою смертью
Бессонный нерв вселенной сторожит.

gemini flash (средний)
Сквозь гул разорванного ада,
Где в щепки крошится гранит,
Он — вертикаль немого взгляда,
Что хаос в фокусе хранит.

gemini flash (высокий)
Прибой штурмует выступы гранита,
В ночи маяк безмолвно одинок;
Но ярость волн о монолит разбита,
И режет хаос световой клинок.

gemini про (низкий)
В ослепительной ярости бьётся волна,
Растирая в песчинки седой парапет.
Одинокая башня присяге верна,
И в слепую пучину врезается свет.

gemini про (средний)
Ревет пучина в ледяной утробе,
Гудит прибой, как яростный набат.
Маяк горит, не покоряясь злобе,
Пронзая мрак, не ведая преград.

gemini про (высокий)
Свинцовые гребни терзают утёс,
Стирая границы земли и воды.
Но здесь одинокий маяк средь угроз
Вонзает свой луч в сердцевину беды.

----------------------------------

gemini flash 0.3
Вскипает ночь, вздымая гребни пены,
Штормит простор, безжалостен и слеп,
А столб стоит, не знающий измены,
Лучом взрезая океанский склеп.

gemini flash 0.6
Срывая пену в тёмном раже,
Стихия бьётся о гранит,
Но свет на безнадёжной страже
Слепую пропасть сторожит.

gemini flash 0.9
В ревущей бездне, рвущейся на части,
Он держит луч над челюстями скал —
Как вечный вызов первобытной пасти,
Чтоб мир слепой дороги не терял.

----------------------------------

Хайку 4.5
Маяк стоит в пучине без причала,
Волна за волной рвётся в мрак с беды,
Его спасительная верность мала
Для тех, кто тонет в чёрные беды.

Сонет 4.5
Один среди слепых и пенных масс,
Он держит свет, как веру, над волной,
И шторм ревёт, срывая каждый час,
Но луч упрям — он справится с тьмой.

Опус 4.5
Во тьме солёной, где ревёт прибой,
Маяк упрямо режет мглу лучом —
Один, как мысль, забытая судьбой,
Горит, не зная — слышат ли о нём.

Сонет 5 (0,3)
Маяк стоит один во мраке,
Деля стихию пополам,
Горит, как память о моряке,
Не верящем слепым волнам.

Сонет 5 (0,6)
Он высится, как памятник надежде,
Среди воды, что рвётся на гранит.
Шторм хлещет берег яростью, как прежде,
Но свет его над бездною горит.

Сонет 5 (0,9)
Он светит в ночь сквозь плотный мрак,
Один средь волн, не зная страха,
Храня в себе забытый знак
Для тех, кто ищет брег из праха.

------------------------------------

ChatGPT луна 5,6 (0,9)
Маяк хранит молчанье льдин,
И шторм чернеет на стекле;
Он слышит пульс чужих глубин,
Но свет живёт в немой мгле.

ChatGPT луна 5,6 (1,6)
Один маяк хранит обет,
Волна срывает имена;
И шторм ему — немой ответ:
А тьма — ещё не глубина.

ChatGPT Терра 5,6 (0,9)
Маяк один хранит немой обет,
И шторм дробит пространство, как стекло;
Он помнит волны, чьих названий нет,
Чтоб тьма сама себя не обрела.

ChatGPT Терра 5,6 (1,6)
Во мгле маяк хранит свой свет,
И шквал дробит седой гранит;
Он бережёт немой завет —
Над ним молчит чужой зенит.

ChatGPT Сол 5,6 (0,9)
Один маяк хранит границы,
Пока ревёт морская мгла;
Его луча дрожат ресницы —
Их ночь до пепла не сожгла.

ChatGPT Сол 5,6 (1,6)
Маяк в ночи горит, как рана,
И режет мглу немым лучом.
На чёрной коже океана
Он стал последним рубежом.

--------------------------

Яндекс 5.1 (0.9)
В штормовом море маяк одинокий стоит,
Сквозь тьму и туман свой луч трепетно льёт.
Он путникам знак сквозь бурю пробив, хранит,
Надежду в сердцах, как звезду, бережёт.

Гигачат - 2 макс (1.6)
На бурной глади я вернусь утёсом
Старый свет твой сквозь шторма влек мой корабль.
Один волной захлёстывается мыс лоцманский, —
Вот моя любовь — отвергнутая цель!

---------------------------

Ллама 3.2
Сквозь ярость пены, в гулкий стон,
Врезался луч в седую мглу.
Стоит маяк, как старый сон,
Прижав надежду к серому углу.

----------------------

Дипсик в4-про
Над черной бездной мечется огонь,
Дробится луч о гребни волн горбатых,
Но держит мрак в тисках его ладонь,
Сжимая пульс в плену координаты.

дипсик в4-flash
Безумный вал вздымает небосвод,
Но свет горит наперекор стихии.
Он в одиночку этот мрак несёт,
Чтоб корабли разбиться не могли бы.