Как вообще функционируют слои уже обученной нейросети и как это соотносится с тем, что творится у нас в голове? Представьте себе нейрон. Он соединен с тысячами других, но каждое соединение уникально (имеет вес). У одних соединений веса большие, у других маленькие. Если сильно упростить весь процесс - именно так и кодируется долговременная память. Вы думаю знаете, что она у человека во многом "ассоциативная", т.е. каждый объект имеет ассоциацию к некоторому количеству других объектов, те в свою очередь тоже имеют какие-то ассоциации. Именно поэтому, когда у вас в голове всплывает понятие птица, вы "видите" некоторое количество образов, свойств и событий, часть из них ускользает (имеет малый вес), часть наоборот ярко проявляется (веса достаточные для прохождения сигнала): например ворона, летает, хвост, клюв, крылья, вчера синица клевала сало на кормушке. В некотором приближении, это и есть многомерная матрица весов, где каждому "токену" соответствует огромное количество числовых значений, которые показывают близость этого токена к другим на основе определенных свойств (каких - темный лес. Эти категории каким-то образом были "вычислены" при обучении нейросети и понять их структуру так же невозможно, как пытаться понять, каким образом закодирована наша память). Именно в этой части LLM напрочь отсутствуют алгоритмы - есть лишь непонятное "что-то", которое как-то соотносит каждый токен с миллионами других. В этом нейросеть очень похожа на долговременную память человека. Насчет "глюков". Согласитесь — их и у людей более чем достаточно))) Начиная от тех же оптических иллюзий, когда мозгу не удается правильно интерпретировать визуальную информацию, до глупых и абсурдных умозаключений, примеры которых в просто невероятных количествах вы можете при желании найти на этом уважаемом ресурсе.
