Это бестолковый пример, который вы подобрали, чтобы "доказать" то, в чём были уверены изначально исходя из своего непонимания того, как работает этот инструмент.
Это как гнать на калькулятор за то, что он не может квадратное уравнение сам решить, и делать из этого вывод, что никогда компьютеры на это не будут способны. А они уже способны.
Вы взяли простой, по факту, генератор текстов и задали ему некую задачу, которую он не предназначен решать. Точно так же простенький калькулятор не предназначен решать квадратные уравнения самостоятельно.
В результате генератор правдоподобного текста вам сгенерировал какой-то правдоподобно выглядящий текст, а вы начинаете докапываться, что там в тексте не то, что вы ожидали.
Представьте, что примерно такой же неуклюжий ответ вам дал бы прохожий, задай вы ему такую задачу. Он не отмахнулся от вас, а решил подыграть и приколоться (например), ну и наговорил вот такой ерунды. Значит ли это, что такой вот эксперимент будет доказывать, будто бы люди в принципе не способны решать такие задачи?
Вы просто думаете о нейронке как о человеке, но о каком-то особенном человеке, какой-то особенной породы, которая от вас - настоящих людей - отличается. Это глупо. Там не человек и близко. Там генератор правдоподобного текста. Вы же не думаете о калькуляторе как о человеке? Или о калькуляторе как о любом компьютере?
Если бы вы потрудились поразбираться как работают генеративные модели, как большие языковые модели учатся, и как они формируют ответ, то у вас бы не было иллюзий, что эта штука мыслит и делает какой-то логический вывод в таком вот простом исполнении.
Но это не значит, что на основе больших языковых моделей нельзя сделать агента, который будет продуктивно решать такого рода задачи. Задайте этот же вопрос не простой генерилке текста типа чатаЖПТ или, упаси господи наш ктулху, этому самому "гигачаду", а, например, CalwBot'у или, что сильно проще, обычному Клоду в режиме агента. Он найдёт откуда скачать полный набор текстов песен КиШа, скачает, напишет скрипт, который GREP'нет эти тексты по корню "солн" (ну то есть поищет в них), переберёт все совпадения и напишет отличный отчет в Markdown-файле о проделанной работе.
И вот в таком правильном использовании инструмента есть смысл. Такой интрумент теперь может заменять некоторых ранее вовсе не бестолковых работников на их работе. Однако времена изменились, и как операторы лифтов стали не нужны, как телефонистки стали бессмысленны с появлением АТС, так и очередной набор задач, решавшихся раньше только людьми, стал отлично автоматизироваться, и теперь этим людям придётся искать чем ещё занять себя.
Ничего драматичного в этом процессе нет. Те, кто упорно хочет и дальше управлять лифтом в ливрее, может поискать себе музей с таким лифтом и работать в этом музее, или поискать старомодный особняк какого-нибудь экстравагантного богатея, который не желает высоких технологий у себя на усадьбе, и примет на работу и лифтёра, и телефонистку, просто для антуража, или чтобы потешить своё чувство прекрасного.
Однако большинство адекватных людей отлично найдёт куда себя применить в нашем многообразном мире. Как до ИИшной революции были спивавшиеся и страдающие от безделья бомжи и прочие маргиналы, так и после такие никуда не денутся. Нормальные люди всегда найдут чем себя занять.
Кто-то раньше копал могилы лопатой, но был куплен экскаватор и лишил его работы. Беда? Нет! Теперь нам нужен экскаваторщик, а копатель может идти во вторую смену в красивом смокинге носить гробы, там люди старомодные и не хотят чтобы в последний путь их везли на погрузчике.
Вот в чем смысл. А этот долбаный вой с болот про то. что ИИшница нас всех лишит работы и смысла жизни - он достал уже. ну серьёзно!
Мы в интереснейшее время живём! Тот же самый гигачат... блин, ну нет, не гигачат... чатЖПТ - это бесконечно терепеливый и весьма эрудированный репетитор, который вам поможет разобраться в любой теме, найти правильные источники, срезюмировать большие тексты, оформить их в тезисы, посоветовать что почитать на тему... Раньше такого не было, а теперь есть. Раньше надо было искать наставника, и таких терпеливых и бесплатных надо было поискать. Теперь этих наставников заменили ЧатыЖПТ. Если вы хотите чему-то научиться, то у вас станет меньше отмазок почему вы этого не сделали до сих пор.
То же касательно всего остального. Сейчас вооружившись ИИнструментами можно в одно лицо делать такие эксперименты по разработке, дизайну (в том числе инженерному), на которые мало у кого хватило бы ресурсов, чтобы просто побаловаться и забыть в случае неудачи. Пользуйтесь этим. Кому вы что доказываете тут?
Хорошо подобранным примером можно доказать всё что угодно.