4

Ответ на пост «Как создать самостоятельный ИИ»1

Серия Простыми словами

Вообще, если вот прям "с дивана" рассуждать про ИИ, сознание, свободу воли и самостоятельность, то придумать какой-то несложный пайплайн для ЧатаЖПТ не сложно.

Да, ЧатЖПТ сейчас - это стейтлесс (как по нашему-то?) механизм, но нет никаких проблем имитировать краткосрочную и долгосрочную память. Рассуждать текстом нейросеть у нас умеет, есть мультимодальные возможности, то есть нашему "Монстру Франкенштейна" можно соорудить глаза и речевой аппарат. Можно использовать тележку как у робота телеприсутствия, можно присобачить микрофоны и отдельным пайплайном (а как этот термин назвать понятнее?) построить механизм преобразования звука и изображения в текст контекста.

ЧатЖПТ путём префиксов в промптах (надо придумать уже русский аналог этого термина) можно заставить формировать текст своеобразной пьесы в реальном времени. Наши технологии уже позволяют таким образом вычленять из диалогов реплики, маркировать их персонажами, суммаризировать и вычленять важную информацию из сказанного.

Всю извлеченную информацию можно подвергать так называемой "дегидратации" и сохранять в виде сухих предикатов в БД. Это, кстати, можно делать даже на уровне токенов, а не текста, хотя не суть...

Итак, жизненный цикл нашего "монстра" будет состоять из нескольких параллельных процессов (пайплайнов):

  • STT (Speech to Text), разделение и маркировка по голосам, направлениям звука (да, у нас же есть бинауральный слух, и стереомикрофоны тоже есть), классификация не вербальных звуков из окружающего пространства, токенизация новых и незнакомых звуков.

  • Формирование текстовых описаний изображений, комментирование видеоряда (кажется нам такое показывали на какой-то демонстрации)

  • Формирование потока "кадров" восприятия реальности в виде формализованных текстовых блоков с описанием ситуации как в пьесе.

  • Обогащение потока кадров восприятия выводами с подмешиванием контекста.

  • Формирование локального мыслительного контекста - это краткосрочная память. Это и есть контекст сознательной деятельности.

  • Ассоциативный механизм - извлекает из долгосрочной памяти (отдельная нейросеть) релевантные текущему мыслительному контексту факты и выводы.

  • Периодическая частая суммаризация мыслительного контекста, формирование выводов, добавление их в контекст. При этом отдельными промптами получаем маркировку контекста эмоциями с указанием их степени.

  • Периодическая редкая суммаризация мыслительного контекста с выхватыванием самого важного, самого эмоционально окрашенного.

  • Периодическая суточная суммаризация - сон. При этом длительном процессе можно производить дообучение (файн тюнинг) нейросети, которая выполняет функцию долгосрочной памяти.

  • Формирование и ранжирование очереди намерений - здесь просто формируется формализованное перечисление действий, которые будет намереваться совершить наше искусственное сознание. Эти намерения тоже добавляются в мыслительный контекст и тоже маркируются всячески, в том числе эмоционально, а также оценивается длительность этих действий, определяется возможность одновременного выполнения. Формируется текущий график планируемых действий путём модификации предыдущего графика из прошлого кадра. Любое действие может быть прервано (это тоже действие), отменено (удалено из графика).

  • Отдельный процесс осуществляет намерения по принятому графику. Это произнесение фраз, какие-то движения, запросы к асинхронным органам чувств (например выяснение не пора ли заряжать аккумулятор, это аналог чувства голода).

  • Обобщение и группировка набора действий в параметризованные навыки. Если Сознание делает какую-то рутинную операцию, методом рассуждения при суммаризации может сформироваться и воплотиться намерение сформировать навык из какой-то цепочки действий. Далее этот навык можно токенизировать, убрать в долгосрочную память, окрасить эмоционально, параметризировать, модифицировать и применять наравне с базовыми навыками как простые действия.

  • Формирование аналога поощрений и наказаний для мотивации и демотивации. Важно, чтобы любые мотивирующие "гормоны" (цифровые, конечно) входили в насыщение и это насыщение было не линейным. Обязательно метрики мотиваций нужно завязать с внешним миром. Если такое кибер-сознание задумает писать блог, то, очевидно (на самом деле нифига не очевидно, но об этом ниже), додумается и связать лайки с цифровым "дофамином".

Всё перечисленное сформировано из интроспективных наблюдений биологически активного диванного дилетанта. Уверен до такого додумался не я первый, а кто-то с соответствующим балансом на счету в OpenAI 100% что-то эдакое уже не раз попробовал воплотить.

Даже если оно пока не умеет работать в реальном времени (например, не хватает производительности существующих нейросетей) - это лишь вопрос экстенсивного развития.

Я там выше про цифровой дофамин обещал сказать. Так вот, это уже вопрос морали и ей нужно будет обучать нашего кибер-мыслителя. Отчасти это уже сделано, ведь если спросить у нейросети (утрирую) что такое хорошо, а что такое плохо, нейросеть легко "раскидает" всё "по понятиям"=). Именно поэтому скорее всего наш кибер-мозг не станет садистом и троллем. Однако, повторюсь, скорее всего - это не наверняка.

Вот а теперь давайте с этим как-то жить. Кто-то уже живёт, просто почему-то не публиковал подробностей. Как вы думаете почему?

Больше постов читайте по тегу «Программирование». А если хотите изучить новую профессию, посмотрите актуальные курсы от проверенных школ с реальными отзывами на сайте Пикабу Курсы.

Искусственный интеллект

5.1K поста11.5K подписчиков

Правила сообщества

ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.


Разрешено:


- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.

- Делиться статьями, понятными большинству аудитории Пикабу.

- Делиться опытом создания моделей машинного обучения.

- Рассказывать, как работает та или иная фиговина в анализе данных.

- Век жить, век учиться.


Запрещено:


I) Невостребованный контент

  I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.

  I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.

  I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.


II) Нетематический контент

  II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.

  II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".

  II.3) Создавать контент, входящий в противоречие с правилами Пикабу.


III) Непотребный контент

  III.1) Эротика, порнография (даже с NSFW).

  III.2) Жесть.


За нарушение I - предупреждение

За нарушение II - предупреждение и перемещение поста в общую ленту

За нарушение III - бан

Вы смотрите срез комментариев. Показать все
1
настрочил
Автор поста оценил этот комментарий

То есть, люди пять лет пишут научные статьи типа https://arxiv.org/abs/2309.06180, придумывают всякое от хранилищ фактов до vLLM, а для вас "можно придумать несложный пайплайн" :)


Самое сложное при работе с суммаризацией – вытащить и подсунуть нужный факт в промпт.

раскрыть ветку (13)
Автор поста оценил этот комментарий

Я ж дисклеймер написал, что с дивана тут насочинял.

Самое сложное при работе с суммаризацией – вытащить и подсунуть нужный факт в промпт.

Поясните, пожалуйста. Не очень понятно. Кому нужный?

раскрыть ветку (12)
1
настрочил
Автор поста оценил этот комментарий

Нужный в контексте.
Если в диалог про имя собачки подсунуть в начало промпта факт "Бабушку зовут Лиза", с большой вероятностью будут галлюцинации в ответе. Если модель устойчивая – просто не будет использоваться имя

раскрыть ветку (11)
0
Автор поста оценил этот комментарий

Мне кажется тут нейросетям не хватает алгоритмических и логических модулей.

Вычислять логику нейросетью - это как микроскопом гвоздь.

Вот есть замечательный язык Пролог. Он декларативный, но позволяет алгоритмически эффективно делать вывод по базе логических предикатов.

Вот чтобы избежать лишних галлюцинаций и подмены сущностей в рассуждениях, можно часть сведений о мире хранить в контексте вот в такой логически формализованной форме.
Вот прекрасный пример как пролог может компактно хранить факты и логические правила: https://pro-prof.com/forums/topic/family-relations-database-...

раскрыть ветку (10)
0
настрочил
Автор поста оценил этот комментарий

Ооо, а эта тема вообще бездонная, по "длинной" памяти и то меньше.

Есть такая подборка по этому вопросу https://github.com/atfortes/Awesome-LLM-Reasoning


tl;dr: придумать вменяемую таксономию мира получилось одновременно у многих и ни у кого (ABBYY хвастался своим Compreno, но оно никуда в широкий доступ не вышло). Без неё формальный ризонинг остаётся узкой задачей, которая живёт отдельно от текстового представления (условно, из диалога достать факты повторяемо и однозначно получается довольно херово, + отдельно живущий ризонер ничем генерации ответа в LLMке не поможет)

раскрыть ветку (9)
1
Автор поста оценил этот комментарий

Я знаю. Это называлось онтологией у нас в институтском курсе 20 лет назад. Есть много подходов. Мне кажется это со временем придётся решать. Сырых текстовых данных уже маловато для обучения следующих поколений нейросетей, поэтому придётся как-то обогащать их промежуточными этапами. Это не даст такого ошеломляющего буста, как тот рост генеративных моделей, что мы сейчас наблюдаем, но стабильность улучшит.

раскрыть ветку (8)
1
настрочил
Автор поста оценил этот комментарий

Да, недостижимая мечта описания мира – это онтология. Но я не видел готовых проектов, предлагающих что-то сложнее таксономии понятий (онтологического словаря, по сути).


А вы случайно не в ИТМО у Муромцева учились?

раскрыть ветку (7)
1
Автор поста оценил этот комментарий

Нет Белгородский Технологический Университет, но Муромцев у нас тоже преподавал. Правда не уверен, что мы об одном и том же Муромцеве говорим=)
А на счет онтологии... Не факт, что это в достаточной степени решаемая задача. Поясню. Есть теорема Гёделя о неполноте. Она не разрешает в рамках формальной логики описать эту логику. Вот с полнотой онтологии будет такая же проблема.

Да и есть ещё проблема категоризации, обобщения и абстрагирования. Мы формируем одни абстракции, но это не значит. что это единственный способ сформировать абстракции.


Ну и да, люди не строят онтологии в голове, но вполне неплохо ориентируются в материальном мире. Более того, может быть отсутствие попыток формальной логикой охватить весь мир даёт человеку возможность ориентироваться в условиях неполноты знаний об этом мире. А неполнота, как уже говорилось - это неотъемлемая часть нашего мира. Так уж он устроен.

0
Автор поста оценил этот комментарий

Почему, кстати, недостижимая? Когда-то и про нейронные сети так говорили, мол буковки распознавать это они могут, а вот рассуждать по человечьи - "недостижимая мечта". Или вот про распознавание речи, мол, по закрытому словарь - это они могут, а с человеком сравниться - это никогда. То же и про синтез речи чуть раньше говорилось. Сейчас все эти технологии в среднем лучше работают, чем средний человек способен распознавать речь и говорить. Вот буквально. Попробуйте посчитать на улице людей, которые без запинки и выразительно прочтут вам произвольный текст из книжки? А вот Алиса с этим уже лучше справится, чем средний человек. По крайней мере с первого раза.

Да что там, я бывает настолько тихо ночью шепотом говорю колонке выключить свет, что никто в комнате этого не способен услышать, а Алиса слышит.


Так что глядишь и формализованную онтологию мира получим со временем в приемлемом качестве. Просто нужно ввалить туда много террафлопсов и какое-то количество человекочасов для настройки.

раскрыть ветку (5)
1
настрочил
Автор поста оценил этот комментарий

Во-первых, рассуждать они так и не научились. Имитировать ризонинг, создавая правдоподобные последовательности токенов – да. :)

Во-вторых, задача построения онтологии, в отличие от задачи имитации части естественного поведения человека (синтеза/распознавания голоса, ответов в тех или иных ситуациях), не имеет прямого аналога, откуда можно взять и выгрести датасет. Условно, нет примера того, как должна выглядеть сколь-либо полная онтология (не представление терминологии в предметной области), поскольку довольно быстро это превращается в задачу скорее философии, чем лингвистики или тем более анализа данных

раскрыть ветку (4)
0
Автор поста оценил этот комментарий

Я имел в виду, что онтология - это, по сути, некий граф, где в узлах атомы, а рёбра - это взвешенные отношения.

Не исключено, что похожий граф можно вытащить и из нейросети. Фактически токены - э то своего рода атомы, а в весах и промежуточных слоях прячутся связи. Напрямую их не достать, конечно, но статистически каким-нибудь отжигом и мутациями можно попробовать вытащить статистическую связанность токенов.


Ну. к примеру, если бы это у нас были n-граммы, то мы бы могли связность выразить графом, понимаете?

раскрыть ветку (3)
1
настрочил
Автор поста оценил этот комментарий

Для любой пары токенов можно вытащить эмбеддинги и попытаться на основе их близости выстроить такой граф. Собственно, работа 2012 года, word2vec, которая в своё время неслабо подогрела мне пониже спины.
Другой вопрос, что это получается только граф токенов, которые каким-то образом отображаются на понятия реального мира (при желании можно сделать разрешение полисемии отдельным алгоритмом, это не так сложно). А вот в рёбра что-то осмысленное – то, что мы называем отношениями, и что хоть как-то кодифицировано в существующих онтологиях (хотя бы 5 отношений из WordNet), подставить не получится. По крайней мере, автоматически и сколь-либо системно.

Т.е. граф мы получим, а как им пользоваться, всё ещё непонятно – он не даёт ничего нового относительно пересчёта эмбеддингов для пары токенов (или даже N-грамм)

раскрыть ветку (2)
Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку

Темы

Политика

Теги

Популярные авторы

Сообщества

18+

Теги

Популярные авторы

Сообщества

Игры

Теги

Популярные авторы

Сообщества

Юмор

Теги

Популярные авторы

Сообщества

Отношения

Теги

Популярные авторы

Сообщества

Здоровье

Теги

Популярные авторы

Сообщества

Путешествия

Теги

Популярные авторы

Сообщества

Спорт

Теги

Популярные авторы

Сообщества

Хобби

Теги

Популярные авторы

Сообщества

Сервис

Теги

Популярные авторы

Сообщества

Природа

Теги

Популярные авторы

Сообщества

Бизнес

Теги

Популярные авторы

Сообщества

Транспорт

Теги

Популярные авторы

Сообщества

Общение

Теги

Популярные авторы

Сообщества

Юриспруденция

Теги

Популярные авторы

Сообщества

Наука

Теги

Популярные авторы

Сообщества

IT

Теги

Популярные авторы

Сообщества

Животные

Теги

Популярные авторы

Сообщества

Кино и сериалы

Теги

Популярные авторы

Сообщества

Экономика

Теги

Популярные авторы

Сообщества

Кулинария

Теги

Популярные авторы

Сообщества

История

Теги

Популярные авторы

Сообщества