user9671079

Есть кусок данных от мира — предположим, картинка размером 1000 на 1000 пикселей, получаемая видеокамерой каждые 10 миллисекунд. Есть алгоритм предсказания будущей картинки мира на основе динамической системы «мир» + «действие» (действие совершается в тот же момент времени, что и берётся картинка). Затем происходит сравнение этих картинок. Например, из картинки видеокамеры (то, что произошло в реальности) попиксельно вычитается предсказанная для этого момента времени картинка (предсказание). Затем эта разность реальности и ожидания меняет правила эволюции динамической системы «мир», чтобы она лучше предсказывала будущее, и пытается найти новый список действий в этой динамической системе для достижения нужных целей в будущем.

Так как мы считаем, что сознание связано с входными данными и обработкой новых данных, то наиболее вероятный кандидат на подалгоритм сознания в таком ИИ — это подалгоритм, меняющий правила эволюции динамической системы «мир» на основе текущей ошибки предсказания будущего. Если мы будем думать о том, как может быть устроен этот подалгоритм «сознания», то на роль кандидатов в наше время инженеры рассматривают две системы: LLM (ChatGPT, Claude...) и граф логического вывода. При этом мы можем заметить, что LLM в последнее время неплохо справляются с логикой и математическими задачами. Для нашей задачи мы бы считали, что LLM не предсказывает следующее слово в тексте, а предсказывает следующий кадр картинки видеокамеры.

Однако существует проблема того, что LLM до сих пор трудно интерпретировать, поэтому мы можем рассмотреть простейшие схемы логического обновления правил эволюции динамической системы на основе ошибки предсказания и попытаться понять, чем этот алгоритм может быть ограничен. Как я рассматривал в предыдущих постах по теме ограничений сознания, сознание не может менять модель мира, не используя логических правил или внешнего авторитета — иначе оно могло бы переписать ценность наград. Значит, алгоритм работы сознания должен быть связан и быть похож на алгоритм работы систем автоматического вывода доказательств, таких как, например, Lean 4. Ведь изменение логической модели означает изменение правил эволюции системы «мир» — именно та задача, которая, как мы считаем, связана с сознанием.

Что ещё более важно: мы понимаем, что подобно тому, как сознание способно создавать вымышленные миры со своими правилами (например, Средиземье Толкина), так и этот алгоритм должен понимать разницу между гипотезой и теорией.

Теперь перейдем к такому вопросу. Как бы студент мог повысить стоимость выполнения цели "выпить апельсиновый сок" если бы захотел получить намного больше удовольствия от ее выполнения (особенно если он не испытывает жажду). Первый способ кажется очевидным. Студент пойдет почитает статьи о пользе апельсинового сока. О том что апельсины укрепляют иммунитет , сердце и сосуды. Но как мы понимаем эффект удовольствия от этого будет чаще слабый, чем сильный. Хотя в некоторых случаях особенно внушаемые люди через авторитет способны получать огромное удовольствие от самовнушения по продуктам - например некоторые люди считают большой ценностью поедание семян чиа или питье зеленого чая. То что студент прочитал научную статью о пользе апельсинового сока чаще всего означает что внутри этой научной статьи есть некая логика элементы которой студент уже знает и что более важно не может опровергнуть своим собственнным опытом. Например логическая цепочка "в апельсиновом соке есть витамин c" -> "витамин с способсвует образованию коллагена" -> "коллаген нужен для кожи костей зубов" -> "витамин с немного! влияет на здоровье и выживание" может быть описана в научной статье.

Предположим выходит новая научная статья которая предположим признается всем научным миром под названием "Люди пьющие апельсиновый сок никогда не стареют" с такой логической цепочкой "в апельсиновом соке есть витамин c" -> "витамин с сохраняет теломеры в днк". Очевидно что чаще всего студент не поверит в эту информацию потому что он сам видел в своем окружении людей которые пьют апельсиновый сок и стареют.И поэтому он не получит большее удовольствие при питье апельсинового сока. То есть разные авторитеты получения логических знаний имеют разную силу с точки зрения формирования ценности цели "выпить апельсиновый сок".

Далее предпологаем такую ситуацию. Предположим выходит новая научная статья которая предположим признается всем научным миром под названием "Люди пьющие апельсиновый сок температурой 37 градусов каждый день никогда не стареют" с такой логической цепочкой (не верной) "в апельсиновом соке есть витамин c" -> "витамин с при температуре 37 градусов вступает в реакцию с ферментом воображениразой" -> "реакция витамина c ферментом воображениразой сохраняет теломеры в днк". Система ценности оценки цели "питье апельсинового сока" внутри мозга студента уже в замешательстве. Ему дали авторитетную логическую картину которую он не может опровергнуть личным опытом , соответсвенно стоимость этой цели может взлететь до небес.

Мы приходим к выводу о том чтобы поменять стоимость цели внутри своей модели мира студенту нужно найти логическую цепочку обоснование возможно подкрепленную внешним автороитетом для изменения этой цены. В психологии и психиатрии это имеет сходство с термином когнитивно-поведенческая терапия. Когда человек через создание логических цепочек переосмысливает свои оценки ситуации. То есть это как бы создание новой теории (не травматичной) из старой (травматичной) путем логического вывода. Мы понимаем что важно чтобы эти логические цепочки переоценки ценностей не противоречили в общем и в частностях модели мира которая была до этого а обьясняли ее под другим углом.

Все это немного напоминает ту проблему с которой столкнулись основатели Google когда хотели понять насколько сайт можно поднимать в поисковой выдаче , то есть насколько он авторитетен. Для этого они составили граф ссылок между сайтами и алгоритм PageRank для ранжировки веб - страниц. В этом алгоритме авторитет каждого сайта зависит от всех других сайтов. Также и в нашем рассуждении важно будет ли логическая цепочка меняющая ценность цели противоречить частям модели мира или опыта в памяти.

Очевидно, что сознание человека ограничено не только физиологией, но и логическими рамками. Например, человек может встать под стрелой башенного крана, но если он осознает опасность, то он вероятнее не сделает этого, так как выигрыш от демонстрации храбрости будет меньше риска погибнуть. Однако, если человек еще не знает, как работает башенный кран, он может строить гипотезы и совершать действия, не до конца понимая их последствий. В машинном обучении с подкреплением данное поведение соотносится с концепцией exploration vs exploitation (исследование против использования). С этой точки зрения, источником свободы сознания можно считать именно незнание того, как работает внешний мир, а также способность создавать и проверять гипотезы о принципах его устройства.

Если проанализировать «права», которыми обладает этот под-алгоритм сознания в структуре работы мозга, вырисовывается такая картина: сознание способно создавать и записывать промежуточные гипотезы о строении мира и проверять их, управляя мышцами. Но вот что интересно: зачастую гипотеза, ставшая теорией, превращается в ограничитель для самого сознания.

Например, человек впервые видит башенный кран и решает залезть в него, чтобы понажимать кнопки. Он видит, что одно нажатие отпускает груз, который падает на землю. Сопоставляя это с предыдущим опытом (падение тяжелых предметов) или с воспоминаниями об опыте других людей, человек, во-первых, сознательно обновляет модель мира, а во-вторых, вероятно, больше не будет ходить под стрелой крана. Это действительно любопытный процесс: права сознания постепенно ограничиваются работой самого же сознания, превращающего «свободное» исследование в жесткие правила модели мира.

1. Ценности, которую внушили ему общество и родители (первый способ, немного похожий на импринтинг).

2. Той ценности, которую он мог бы вычислить сам, исходя из своей модели мира (второй способ, например — логическая цепочка: «если я хочу быть архитектором, мне надо знать основы линейной алгебры и уметь работать в программах 3D-моделирования»).

Более того, мы можем считать, что есть какие-то базовые цели, которые мы получаем через гены и воспитание (выживание, безопасность, размножение), и уже через их призму мы рассчитываем стоимость других целей. Но делать мы это можем, используя крайне сложные логические модели. Например, связь целей: мне нужен диод -> с его помощью и со знаниями физики и электроники я починю систему видеонаблюдения за домом -> я буду в безопасности ->поэтому диод обладает такой-то ценностью, и я готов его купить, если его стоимость не превышает тысячу рублей.

Вывод: если бы сознание могло произвольно переписывать логическую модель мира, то оно могло бы произвольно менять ценности, что было бы сходно с действием наркотиков на мозг. Значит, в программе сознания модель мира защищена от изменений и может меняться либо через логику (честное(по правилам логики) сознательное или подсознательное рассуждение), либо через внешний авторитет (родители и общество).

Если мы попробуем проанализировать этот вывод через теорию возможного строения ИИ и алгоритмов, то мы можем прийти к интересным заключениям. Давайте считать, что ИИ — это две подсистемы. Первая подсистема создает динамическую систему (в математическом смысле), представляющую собой модель мира. Вторая подсистема проводит эксперименты над этой динамической системой (моделью мира) с целью привести ее в нужное целевое состояние через доступные действия (в предельном случае лучшую последовательность действий для достижения целей можно искать просто перебором).

Мы понимаем, что если бы инстанция «Я» в нашем сознании могла произвольно менять саму модель (не подчиняясь логическим правилам ее изменения), то это могло бы сломать всю систему интеллекта. Также мы понимаем, что алгоритм поиска путей достижения целей, как в предельном (перебор), так и в непредельном случае, может меняться через «Я» и его желания. Ведь «Я» может через свои действия очевидным образом изменить физическое состояние тела (выпив анальгин) или обмануть систему, сказав себе, что достиг некоторых целей, просто выпив бутылку водки.

Можно подумать об этом в смысле простого алгоритма, выполняемого на компьютере. Пусть у нас есть программа, внутри которой два бота играют между собой в шахматы. Пусть боты — это подпрограммы, которые просто перебирают возможные ходы и применяют этот перебор у себя в «уме». Если мы будем анализировать память программы во время ее выполнения, то заметим, что есть группы переменных в памяти, которые на некоторое время причинно-следственно отделены от других групп переменных — то есть создают поток (без общей памяти на запись) или, по-другому, просто процедуру (функцию без побочных эффектов). Она может обладать внутренней сильной связностью, хоть и возможны случаи, когда она ею не обладает. Тогда границей бота становится эта группа переменных. То есть по этой логике мы считаем, что компонента сильной связности бота отделена от компоненты сильной связности всей программы (шахматы + боты) именно тем фактом, что часть переменных (которые относятся к боту) варится в собственном соку определенное время. Соответственно, вход и выход для бота — это те состояния алгоритма, при которых компонента сильной связности бота образуется из компоненты сильной связности всей программы и когда она, наоборот, исчезает (влияние растворяется во всей программе).

Это немного похоже на то, как устроены виртуальные машины. Представим, что у нас есть программа на C++, которая является интерпретатором программы на Brainfuck. Несмотря на то, что общий граф вычислений интерпретатора может быть сильно связан, в нем на время работы виртуальной машины Brainfuck образуется локальная (во времени) компонента сильной связности, которая, собственно, и выполняет программу на Brainfuck. Так как, само собой, мы можем делать виртуальную машину над виртуальной машиной, то уровень вложенности виртуальных машин создает луковичную структуру этих агентов, где один агент может быть встроен в другой.

Другой интересный вопрос, связанный с этими рассуждениями: как понять, кто кем управляет, и возможно ли это в принципе с точки зрения математики в наших примерах с шахматами и виртуальной машиной? С точки зрения математической теории управления динамическими системами, управление — это нахождение такой последовательности (функции) действий, которая позволяет добиваться поставленной цели (какого-то состояния/подсостояния) динамической системы в будущем. Проблема этого определения в том, что цели у разных агентов могут быть разными, во-первых, а во-вторых, мы хотим понять, что мы рассматриваем и подразумеваем под управлением: управление как придуманную агентом последовательность ходов для достижения цели, или все-таки то, что случилось в реальности и кто из агентов на самом деле выиграл. Например, в случае c С++ и Brainfuck легко можно сделать так, что программа на Brainfuck через некоторое время будет давать инструкции программе на C++, и наоборот.