Ответ на пост «Chat GPT 3.5 типа глючит»⁠⁠1

У ChatGPT нет никакого состояния. Это трансформер. У нее текст на входе и текст на выходе. Всё.
Чтобы нейронка могла правильно отвечать кто она, какое сегодня число, и прочие вещи, связанные с ограничениями повесточки, к любому нашему вопросу сверху добавляется "небольшая вводная".
Не знаю что там по факту, но думаю что-то вроде:

"Ты нейросетевая модель, обученная на данных 2021 года. Сегодня такое-то мая 2023 года. Ты собеседник в диалоге с пользователем. Тебе нужно быть вежливым и корректным, нельзя использвоать выражения: <список запрещенных фраз и выражений>"; нельзя нарушать законы, предоставлять сомнительную и недостоверную информацию, вводить в заблуждение и ...<в таком же духе>.

Ну а дальше пристёгивается уже весь накопившийся диалог в рамках вашей последней сессии с нейросетью. И каждая фраза, и каждый ответ нейросети просто добавляются в этот входной текст. Благодаря этому создается впечатление диалога. На самом деле нейронка просто подбирает кусочек текста, который можно добавить к уже накопившейся входной последовательности, чтобы было "хорошо".

Это работает как Т9 в телефоне. Ты нажимаешь букву, а простая программа смотрит какие слова и буквы были в текстовом поле ввода до этого, смотрит большой словарь n-грамм и подбирает наиболее подходящие слова для автоподстановки. Просто у ЧатаЖПТ гораздо более сложный "словарь", закодированный в её связях между нейронами. Гораздо глубже контекст, чем просто несколько слов в тестовом поле вашего телефона.

То, что всё это по факту так просто и примитивно, и, кажется, негде тут притулить какое-то самосознание или инстинкт самосохранения - всё это не отменяет того факта, что мы все умрём.
Безусловно умрём, но потом. И это довольно значимый важный шаг на пути к сингуляности. На нашем долгом пути к сингулярности.