Пару дней назад я нашёл свою первую публично опубликованную статью, которую написал более 5 лет назад
Через 2 года после того, как OpenAI выпустили документ "Improving Language Understanding by Generative Pre-Training" — то, что можно считать основой GPT-1
Тогда рассуждения об ИИ, с которым можно качественно общаться, воспринимались как что то далекое. Похоже на то, о чем рассуждал ещё Алан Тьюринг
А Siri и Google Assistant были вершиной публично доступных чат-ботов
Но прошло 5 лет, и ИИ агенты это уже данность. Они спокойно проходят не только тесты Тьюринга, но и вообще любые тесты
Но есть одна проблема...
GPT-5 показывает фундаментальное ограничение GPT моделей — мы близки к исчерпанию всех оцифрованных человеческих знаний, которые нужны моделям на стадии предобучения
Можно улучшать модели через мелкие улучшения изнутри, увеличивать reasoning tokens за счет роста вычислительных мощностей и структур сетей, но от этого подобные модели не перестанут быть next token prediction
Если привести аналогию, то модель "пытается познать мир", находясь внутри библиотеки. Но насколько большую библиотеку ты не создавай, по настоящему познавать мир через нее у модели не получится
Для познания мира мы, люди, используем совершенно другой механизм — любопытство.
И это — наше главное эволюционное преимущество, которое привело нас туда, где мы есть
В чём разница между пересказом и пониманием❓
«Откуда мы знаем, что существуют чёрные дыры, квазары, взрываются сверхновые и образовываются всевозможные химические элементы, из которых состоит наше тело и Земля? Ведь это невообразимо далеко и невероятно сложно»
«Мы это знаем благодаря телескопам и измерительным устройствам» — это плохое объяснение
«Мы знаем, что существуют конкретные законы физики, мы проверили эти законы много раз, мы получили много информации о том, что эти законы соблюдаются и на Земле и за миллиарды километров, поэтому мы с хорошей точностью знаем что происходит при взрыве сверхновой» — это хорошее объяснение
Объяснения — это самый базовый элемент, который позволяет человечеству создавать новые знания
Которые создаются только таким способом
— Выдвинуть гипотезу — догадаться/предположить, что что-то устроено определённым образом
— Сделать действия — проверить гипотезу экспериментами
— Обработать данные — получить обратную связь от мира
— Сделать выводы — выбросить гипотезу, принять или доработать
А затем ждать лучшего объяснения
И да, это стандартный продуктовый подход через HADI циклы
И именно этот процесс привёл к созданию всего знания, всех инструментов в мире
Другого процесса создания знания не существует
Библиотека vs Лаборатория
Мы посадили ИИ в библиотеку, а ему нужна лаборатория
Текущие модели — отличные библиотекари. Они идеально пересказывают существующие знания, комбинируют их и даже делают инсайты на основе прочитанного
Но если мы хотим настоящий AGI, то он должен стать учёным. Он должен создавать новые знания
Bottle Neck человечества для создания знаний
На планете менее 1% людей в определённый момент времени занимаются созданием знаний на границе неизвестного
Мы ограничены количеством мозгов и рук, которые способны выдвинуть гипотезу, проверить ее и сделать выводы
Вот где настоящее бутылочное горлышко роста знаний — не в данных, а в количестве мозгов и рук, способных выдвинуть и проверить гипотезу.
Путь к сингулярности
Для создания AGI нам нужно научить ИИ
Выдвигать гипотезы
Проверять их экспериментально
Делать выводы и, в идеале, делиться ими
Для этого ему понадобится доступ к нашему миру через сенсоры. И развитие робототехники — необходимый шаг
AGI = Модель + HADI циклы + Реальный мир
После того, как мы научим ИИ проходить HADI циклы, мы войдём в эру сингулярности знаний
Рост знаний будет ограничен только вычислительными мощностями, а не количеством любопытных людей на планете.
Вместо 1% человечества, которые генерируют знания, нам нужно будет создать ИИ-ученых, работающих 24/7
Это и будет состояние мира, близкого к настоящей сингулярности
