Ответ на пост «Кто кого троллит?»⁠⁠3

Многие люди неверно себе представляют что у нас за "интеллект" сейчас у Алисы и не только.
Это не виртуальный человечек в цифровой банке. Это генератор текстов. Очень мощный T9, как раньше в телефонах. Он умеет по нескольким словам подбирать следующие слова, которые туда "хорошо подходят". Что подходит, а что нет, что хороший текст, а что нет эта нейросеть как бы "понимает" на основе обучающей выборки - огромного количество текстов.

Вот это вот "как бы" и "понимает" - всё весьма условно. Люди даже про себя не могут ничего толком объяснить и разложить по полоскам как они "понимают" и "думают", поэтому не будем такие философские рассуждения затевать и про нейросети. Важно, что нейросети чем-то по принципу внутренней работы похожи на нейроны мозга человека, но это сходство очень условно, и всегда можно найти больше различий, нежели сходств. Вау-эффект от того, как "рассуждает" нейросеть зависит от размера её контекста. Прочитайте про контекст, токены, и прочие особенности устройства генеративных свёрточных сетей, в рамках этого поста слишком долго об этом распинаться. Но чем больше размер контекста, тем больше ресурсов надо на обучение нейросети, и это количество растёт не линейно, а, наверно, скоре экспоненциально. Тут я могу ошибаться.

Для понимания ChatGPT 4 и 3.5 отличаются по своим возможностям. Что там под капотом у Алисы Яндексовны я не читал, но наверно что-то попроще.

А ещё сейчас генеративные свёрточные сети - это в основном иммутабельные (неизменные) штуки. Вот их как обучили, так они и работают ничего больше не запоминая. То есть их что-то спрашивают, они этот вопрос получают как часть текста некоего диалога и дописывают продолжение этого диалога в виде ответа. Потом вы что-то ещё спрашиваете следующей репликой, а нейросеть не помнит всего предыдущего диалога, ей весь журнал вашего общения отдают целиком заново, и она снова дописывает "подходящий текст" в конце. И так можно продолжать, пока ваш диалог влезает в объём контекста, которым может оперировать нейросеть.

Но описанное выше - это про голую "сферическую" нейросеть "в вакууме". На деле разработчики уже давно экспериментируют с ансамблями разных нейросетей, заточенных под разные вещи. Любой запрос (к примеру в ChatGPT) обрабатывается целым конвейером плагинов. На этом конвейере ваш вопрос превратится в цепочку токенов - язык универсальных смысловых единиц, которые сформировались внутри нейросети в ходе её обучения. При наличии некоторых признаков конвейер может модифицировать внутри себя ваш вопрос, перефразирует, превратит в запрос, который лучше подходит поисковой системе, отправит дополнительный запрос в гугл, получит ответ, обработает этот ответ в контексте исходного вопроса, и т.д.

Так, например Chat GPT поступит, если его спросить о знаменитостях родившихся в конкретную дату. Алиса Яндексовна в режиме "давай придумаем" не будет лезть в интернет за ответами, она чуть по проще в плане своего конвейера, поэтому она придумает какое-то вводное предложение, которое хорошо выглядит в качестве ответа, потом придумает какой-нибудь список знаменитостей, а то, что всё это должно удовлетворять более сложным условиям - это может выпасть из её зоны внимания.

Логика - не лучшая сторона простых свёрточных сетей. Не нужно зжать от них слишком многого и обвинять не весть в чем. Буквально дет 5 назад ещё трудно было поверить, что машина сможет так круто писать тексты. Кто-то уже считает, что тест Тьюринга пройден, и с этим трудно спорить.

В интересное время мы живём. Здорово, что каждый может не только наблюдать за всем этим, но и поиграться с этими технологиями. Воистину достаточно продвинутые технологии уже давно неотличимы от магии.