Что такое настоящее Понимание и почему современные нейросети понимают смысл?

Конспект сделан с доклада - https://www.youtube.com/watch?v=6fvXWG9Auyg

Эпизоды
00:00:07 Необходимость научного консенсуса о 'Понимании'
00:00:51 Две парадигмы ИИ: Логическая против Биологической
00:01:42 Переход к Биологически Вдохновленному Подходу (2012)
00:02:39 Доминирование Нейронных Сетей и Скептицизм Лингвистов
00:03:20 Критика Хомского и Отторжение Обучения Языку Нейросетями
00:04:17 Теории Значения Слов: Символизм против Семантических Признаков
00:05:10 Психологический Взгляд на Значение и Ранняя Модель 1985 Года
00:05:59 Принцип Работы Ранней Модели и её Эволюция
00:06:43 Развитие Векторных Представлений и Появление Трансформеров
00:07:28 Аналогия Понимания: Слова как Тысячемерные Блоки Lego
00:08:37 Механизм Взаимодействия Слов: Рукопожатия в Трансформерах
00:09:31 Деформация Слов и Формирование Структуры Понимания
00:10:23 Понимание как Структура Взаимодействующих Слов
00:11:24 Критика LLM: Автозаполнение и Галлюцинации как Аргументы Скептиков
00:12:33 Конфабуляции, Обмен Знаниями и Превосходство Цифрового Обучения

Джеффри Хинтон, один из "крестных отцов" глубокого обучения озвучил свое видение сущности "понимания" и того, как оно проявляется в работе больших языковых моделей (LLM). В этом докладе он призывает научное сообщество срочно выработать единое определение "понимания", чтобы двигаться дальше в развитии ответственного ИИ.

Мы разбираем ключевой сдвиг в истории ИИ: от логики и символов к биологически вдохновленным нейронным сетям, который произошел в 2012 году. Хинтон объясняет, почему скептики ошибались, считая, что нейросети никогда не смогут освоить язык, и как его ранние модели 1985 года заложили основу для современных эмбеддингов.

Хинтон сравнивает слова с тысячемерными блоками Lego и как механизм "рукопожатий" (внимание в Трансформерах) формирует то, что мы называем смыслом.

В этом выпуске:

• Почему научный консенсус по "пониманию" критически важен для будущего ИИ.

• Переход от символьного ИИ (рассуждение первично) к нейронным сетям (обучение первично).

• Критика Хинтоном лингвистических теорий, отрицающих способность нейросетей изучать язык.

• Аналогия "тысячемерных блоков Lego" для объяснения векторных представлений слов.

• Как деформация слов и механизм "рукопожатий" создают контекстуальное понимание.

Далее приводится полный текст конспекта доклада:

Необходимость научного консенсуса об 'Понимании'

Джеффри Хинтон в своем докладе поднимает критически важный вопрос: научное сообщество должно прийти к единому определению того, что такое «понимание». Он проводит аналогию с изменением климата: только после достижения научного консенсуса о причинах проблемы стало возможным разрабатывать эффективные меры противодействия.

Эта проблема особенно актуальна в контексте современных больших языковых моделей (LLM) и чат-ботов. Существует значительное расхождение во мнениях среди ученых относительно того, обладают ли эти модели пониманием, аналогичным человеческому. Многие исследователи придерживаются совершенно иной модели человеческого понимания, что затрудняет оценку возможностей и ограничений ИИ.

Главный вывод: Для дальнейшего прогресса и ответственного развития технологий, основанных на ИИ, необходимо срочно выработать общепринятое научное определение понятия «понимание».

Две парадигмы ИИ: Логическая против Биологической

В истории искусственного интеллекта (ИИ) доминировали две основные парадигмы, или подходы к пониманию интеллекта.

Первая, логически вдохновленная парадигма, господствовала примерно первые 50 лет развития ИИ. Сторонники этого подхода считали, что суть интеллекта заключается в рассуждении. Рассуждение, по их мнению, достигается путем манипулирования символическими выражениями с использованием строгих символических правил. Знания при этом представлялись как набор таких символических выражений в "голове" системы.

Ключевым моментом этой парадигмы было убеждение, что представление знаний (то есть, создание некоего специального, логически однозначного языка для хранения информации) должно быть решено в первую очередь. Вопросы обучения и адаптации считались второстепенными и могли быть отложены до момента, пока не будет решена проблема кодирования знаний.

Переход к Биологически Вдохновленному Подходу (2012)

В 2012 году произошел значительный сдвиг в сторону биологически вдохновленного подхода к искусственному интеллекту, который поддерживали такие пионеры, как Тьюринг и фон Нейман.

Суть этого подхода заключается в том, что интеллект определяется обучением силе связей в нейронной сети. Сторонники этой идеи полагают, что рассуждение (reasoning) является вторичным и может быть изучено позже, поскольку в биологических системах оно появилось значительно позже, чем способность к обучению.

Ключевым моментом, закрепившим этот переход, стал 2012 год. Тогда глубокая нейронная сеть, обученная методом обратного распространения ошибки (back propagation), снизила частоту ошибок вдвое по сравнению со стандартными системами компьютерного зрения, участвовавшими в престижном конкурсе ImageNet. Это продемонстрировало превосходство обучения на основе нейронных сетей.

Доминирование Нейронных Сетей и Скептицизм Лингвистов

Переход к нейронным сетям в области компьютерного зрения произошел довольно быстро после определенного прорыва, что привело к их широкому применению во всех сферах. Сегодня под искусственным интеллектом (ИИ) в основном понимают именно искусственные нейронные сети.

До этого доминировал символьный ИИ. Даже когда нейронные сети превзошли символьные методы в зрении, скептики из сообщества символьного ИИ утверждали, что нейросети никогда не смогут справиться с языком. Они считали, что обработка языка — это идеальная задача для символьного ИИ, поскольку она сводится к манипуляциям со строками символов (ввод символов, вывод символов).

Критика Хомского и Отторжение Обучения Языку Нейросетями

Джеффри Хинтон критикует позицию большинства лингвистов, которые придерживались теории Ноама Хомского о том, что язык не усваивается (не изучается). Хинтон считает эту идею абсурдной и сравнивает Хомского с "лидером культа", который смог убедить людей в этом "нонсенсе".

Основная проблема теории Хомского, по мнению Хинтона, заключалась в том, что она фокусировалась исключительно на синтаксисе, игнорируя теорию значения (семантику).

Для лингвистов было неприемлемым и немыслимым (анафемой) предположение, что большая нейронная сеть, изначально имеющая случайные веса и не обладающая врожденными знаниями, способна самостоятельно выучить как синтаксис, так и семантику языка, просто анализируя данные. Они были абсолютно уверены, что это невозможно.

Теории Значения Слов: Символизм против Семантических Признаков

В данном фрагменте рассматриваются две фундаментально разные теории о том, как слова приобретают значение. Одна из них — символическая теория ИИ, которая доминировала долгое время. Согласно этой теории, значение слова определяется его отношениями с другими словами в языке. Для представления этого значения предлагается использовать структуры вроде графа знаний, где слова связаны друг с другом отношениями, указанными на этих связях.

Автор упоминает, что даже после того, как современные методы доказали свою эффективность (вероятно, в противовес символическому подходу), сторонники старой парадигмы, вроде Хомского, продолжали утверждать, что такие результаты невозможны без прямого участия и одобрения их изначальных теорий.

Таким образом, ключевое различие заключается в том, что символизм видит значение как сеть взаимосвязей между словами, в то время как другая, не названная явно в этом отрывке, но противопоставляемая теория (вероятно, основанная на семантических признаках или эмпирическом обучении), предлагает иной подход к определению смысла.

Психологический Взгляд на Значение и Ранняя Модель 1985 Года

В 1930-х годах психологи полагали, что значение слова определяется набором его семантических (смысловых) признаков, возможно, дополненных синтаксическими. Согласно этой идее, слова со схожим значением (например, "вторник" и "среда") должны иметь очень похожие наборы признаков, в то время как слова с разным значением (например, "вторник" и "хотя") будут иметь сильно различающиеся наборы.

В 1985 году Джеффри Хинтон разработал небольшую языковую модель, целью которой было объединить эту теорию семантических признаков с другими подходами. Модель обучалась двум вещам одновременно: во-первых, извлекать семантические признаки для каждого символа слова, и, во-вторых, учиться тому, как эти признаки предыдущих слов взаимодействуют между собой, чтобы предсказать признаки следующего слова в последовательности.

Принцип Работы Ранней Модели и Ее Эволюция

Ранняя модель, подобно современным большим языковым моделям (LLM), обучалась предсказывать следующее слово в последовательности с помощью метода обратного распространения ошибки (backpropagation).

Ключевое отличие этой модели от подходов символического ИИ (которые предполагали хранение предложений или пропозиций) заключается в том, что она не хранила готовых предложений или правил. Вместо этого, для генерации текста модель многократно предсказывала следующее слово.

Знания модели были реляционными: они заключались во взаимодействии признаков слов, что позволяло ей предсказывать признаки следующего слова. Это принципиально отличалось от хранения набора пропозиций и правил для их манипулирования.

Развитие Векторных Представлений и Появление Трансформеров

Эволюция векторных представлений и Трансформеры

Примерно через 10 лет после создания первой крошечной языковой модели (с несколькими тысячами весов), Йошуа Бенджио продемонстрировал, что подобные модели можно успешно применять для предсказания следующего слова в реальном естественном языке, что стало значительным шагом в моделировании языка.

Ещё примерно через 10 лет ведущие специалисты по вычислительной лингвистике начали признавать, что векторные представления (которые они назвали "эмбеддингами") являются эффективным методом для моделирования смыслов слов.

Кульминацией этого развития стало изобретение и публикация архитектуры Трансформеров исследователями Google примерно через 10 лет после этого. Последующее использование Трансформеров компанией OpenAI продемонстрировало миру их огромный потенциал.

Аналогия Понимания: Слова как Тысячемерные Блоки Lego

Сущность Понимания в Больших Языковых Моделях (LLM)

Интерес к большим языковым моделям (LLM) возник из-за вопроса: действительно ли они понимают то, что генерируют? Хинтон рассматривает LLM как усовершенствованных потомков ранних, "крошечных" языковых моделей.

Главное отличие LLM заключается в их сложности: они оперируют гораздо большим объемом входных данных (слов), имеют обширный контекст и используют значительно больше нейронных слоев. Это позволяет моделям разрешать неоднозначность слов. Например, векторное представление слова вроде "may" (может/май) в начале обработки может отражать несколько значений (месяц, модальность, имя). По мере прохождения через сеть, взаимодействия с контекстом "очищают" это представление, закрепляя одно из возможных значений.

Кроме того, в LLM используются гораздо более сложные взаимодействия между изученными признаками по сравнению с простыми взаимодействиями в старых моделях. Ключевым механизмом, обеспечивающим эту сложность и контекстуальную обработку, является механизм, известный как "внимание" (attention).

Механизм Взаимодействия Слов: Рукопожатия в Трансформерах

Джеффри Хинтон предлагает новую аналогию для понимания того, как работают слова в языковых моделях, поскольку, по его мнению, существующие модели неверны. Он утверждает, что смысл — это наличие модели, а слова служат инструментом для построения этой модели реальности.

В качестве аналогии Хинтон предлагает рассматривать слова как высокоразмерные блоки Лего. Обычные блоки Лего позволяют моделировать трехмерные (3D) формы, хорошо передавая их объем. Слова же подобны этим блокам, но они существуют не в трех, а в тысяче измерений.

Хинтон признает, что представить тысячу измерений сложно. Он шутливо отмечает, что лучший способ для большинства людей — это представить себе обычный 3D-блок и мысленно (или громко) сказать себе "тысяча". Эта аналогия призвана дать основу для размышлений о том, как язык используется для моделирования окружающего мира.

Деформация Слов и Формирование Структуры Понимания

Джеффри Хинтон объясняет, что для моделирования чего угодно, включая теории работы мозга, используются высокоразмерные "кирпичики" (аналогичные 1000-мерным блокам Lego). В контексте языка, эти "кирпичики" — это слова, которых существует множество разных типов.

Ключевая особенность этих "слов" в том, что они не имеют фиксированной формы, а обладают гибкостью и могут принимать диапазон форм, ограниченный их значением. Форма каждого слова деформируется и подстраивается под контекст, в котором оно используется.

Вместо простого механического соединения (как у Lego), слова взаимодействуют друг с другом через сложный процесс, который Хинтон образно называет "рукопожатиями". В архитектуре Трансформеров этот механизм известен как "запросы-ключи" (query key handshakes), где "руки" разной формы на словах соединяются, чтобы сформировать общее понимание.

Понимание как Структура Взаимодействующих Слов

Краткий пересказ: Понимание как Динамическая Структура Взаимодействий

Понимание, согласно Джеффри Хинтону, заключается в динамическом взаимодействии слов, а не в использовании фиксированных значений. Когда меняется контекст, изменяется и вектор, представляющий значение слова, что приводит к изменению "форм рук" (способов взаимодействия).

Суть понимания состоит в том, чтобы деформировать эти слова и их "руки" таким образом, чтобы они могли "пожать руки" (взаимодействовать) с другими словами в данном контексте. Этот процесс формирования связей создает сложную структуру, подобную формированию молекулярных связей, но происходящую в многомерном пространстве (примерно тысяча измерений).

Сами по себе символы слов не имеют смысла; они требуют "интерпретатора" — человеческого мозга. Мозг деформирует эти многомерные формы слов так, чтобы их "руки" могли соединиться, формируя тем самым осмысленную структуру. Именно эта сформированная структура и является пониманием.

Критика LLM: Автозаполнение и Галлюцинации как Аргументы Скептиков

Скептики, придерживающиеся взглядов символического ИИ и лингвистики (влияние Хомского), сомневаются в реальном понимании и интеллекте больших языковых моделей (LLM), несмотря на их сложность и многослойность. Они выдвигают два основных аргумента против понимания LLM.

Во-первых, критики утверждают, что LLM — это всего лишь автодополнение, которое статистически предсказывает следующее слово на основе прошлых текстов, созданных людьми, и, следовательно, не является по-настоящему креативным. Однако Хинтон отмечает, что LLM превосходят многих людей в задачах, требующих креативности. Во-вторых, скептики указывают на галлюцинации моделей как доказательство отсутствия понимания.

Хинтон опровергает аргумент об автодополнении, объясняя, что современные LLM не работают, как старые системы, которые использовали таблицы частотности комбинаций слов (например, "fish and chips"). Вместо этого LLM моделируют весь увиденный текст, создавая векторы признаков для слов, которые изменяются под влиянием контекста. Знание модели заключается в сложных взаимодействиях этих фрагментов (так называемых "рукопожатиях") и весах в нейронной сети, что, по мнению автора, аналогично тому, как устроено знание и у человека.

Конфабуляции, Обмен Знаниями и Превосходство Цифрового Обучения

Изначально языковые модели создавались не для моделирования естественного языка, а для объяснения, как мы понимаем смысл слов через контекст. Хинтон утверждает, что люди моделируют реальность, используя фрагменты слов (как и машины), и что "галлюцинации" ИИ следует называть конфабуляциями, поскольку они характерны и для человеческой памяти. Человеческая память не хранит файлы, а конструирует воспоминания по мере необходимости, что приводит к уверенным, но ошибочным деталям (как в примере с показаниями Джона Дина), что схоже с работой чат-ботов.

Обмен знаниями между людьми происходит через названия слов, которые позволяют воссоздать сложную внутреннюю структуру. В отличие от символического ИИ, который копирует готовые пропозиции, нейросетевой подход (дистилляция) основан на том, что "ученик" (ИИ) пытается имитировать действия "учителя" (человека), предсказывая следующее слово. Однако этот метод крайне неэффективен, так как передает всего около 100 бит информации за предложение.

Цифровые агенты, имея одинаковые веса, могут обмениваться информацией о том, как им следует изменить эти веса (градиенты). При таком обмене они делятся триллионами бит информации, что на порядки эффективнее, чем передача слов. Эта эффективность цифрового обмена объясняет, почему GPT-4 может знать намного больше, чем любой человек.

Главный вывод: Цифровые агенты понимают язык схожим с людьми образом, будучи ближе к нам, чем к стандартному коду. Хотя биологические системы (люди) энергоэффективны, цифровые системы превосходят их в обмене знаниями. Если энергия доступна, цифровые вычисления становятся лучше из-за их способности к эффективному обмену информацией, что является "пугающим" выводом.

Конспект создан автоматически разными нейросетями:

• Транскрибация исходного аудио доклада на анлийском выполнена моделью: Whishper

• Перевод на русский, коррекция, фрагментирование и текст конспекта выполнены моделью: Gemini-2.5-flash-lite-preview

• Озвучивание: HeyGen

• Иллюстрации созданы моделью: FLUX

Публикую этот конспект здесь несмотря на то что, он полностью сгенерирован так как, кажется, в нем есть что-то полезное и может быть не будет нарушать правила группы. Если остаются вопросы или интересны детали, как это сгененрировано, то напишу в других постах.