ChatGPT против кирпичного языка⁠⁠

Современные языковые модели произвели в последние годы революцию. Многие говорят о том, что человечество будет не нужно, и профессий больше не останется.
Уже сейчас мы видим, что посты в социальных сетях, куски кода, и зачастую даже идеи пишутся искусственным интеллектом. В голливуде одно из требований забастовки сценаристов - обещание студий не пользоваться ими при написании сценариев.
Никто уже не говорит о Тесте Тьюринга, потому что все мы знаем что его легко пройдут любые продвинутые языковые модели.
Но сможет ли ChatGPT сделать то, что легко делают дети?

Мы будем использовать следующий промт:

Сейчас я научу тебя кирпичному языку.
Смотри, его правила: он похож на русский, но после каждой гласной добавляется буква "с", после чего она повторяется. Смотри:
Привет - Присивесет
Дом - Досом
Иностранец - Исиносострасанесец.
Теперь переведи на кирпичный слово "Молоко"

YaGPT

Начнем с нейросети Яндекса.

Честно признаться, Яндекс явно не понял что мы хотим от него и точно ВООБЩЕ не понял в чем прикол кирпичного языка. При этом когда мы его пытаемся поправить, он уперт и вообще боится нас обидеть.
YaGPT НЕ ПРОХОДИТ ТЕСТ

GigaChat

Следующим мы разберем языковую модель от Сбера. Она построена на чатгпт с собственными наработками.

Мне кажется, что он вообще не понимает суть разговора. Давайте дадим ему немного времени.

Удивительно. Попросим повторить правила.

Ну, хотя бы не досом.

Я думаю можно сделать вывод, что гигачат НЕ ПРОШЕЛ ЭТО ИСПЫТАНИЕ.

Мне кажется, я придумал новый тест Тьюринга.

Bard от Google

Далее основной конкурент чатгпт - Бард. Он дает сразу несколько вариантов ответов.

Бард явно не схватил на лету. Но давайте попробуем его исправить. Будем брать первый вариант.

Зря мы взяли первый вариант.

У меня возникло ощущение, что Бард вообще не понял правила.

А, нет. Понял. Попробуем еще раз.

А нам заявляют, что эти нейросети понимают контекст.

БАРД НЕ ПРОШЕЛ ИСПЫТАНИЕ

ChatGPT

Вся надежда на него.

Я обескуражен. Он просто не перевел.
Попробуем еще раз.

ВАУ! Это почти верно! Неужели этот тест будет пройден?

Тут уже дальше от правды, но я хочу заметить, что это гораздо ближе, чем предыдущие нейросети.

Мне очень грустно, что он рядом, но не может сделать это верно.

Я думаю, можно завершать тест.

Итоги

Нам не грозит восстание машин. Я думаю, что любой человек на свете бы смог после стольких подсказок корректно перевести слово на кирпичный.

У нейросетей нет разума и интеллекта. Они и правда просто пытаются делать что-то похожее на то, что делаем мы.

Когда-то, когда изобретали новинки, люди говорили, что их профессии умирают, однако появлялись новые, связанные с новыми инструментами.

Люди как были незаменимы, так и останутся ими.

Всем пока.