Действительно ли ИИ думает
Какой смысл спрашивать у языковой модели, алгоритм которой строится не на логике, а на наиболее встречающихся вариантах в данных, на которых она обучалась?
Так в комментариях к одному из постов @user6980687 выразил распространенное мнение о том, как работает ИИ.
Но действительно ли это так?
Рассмотрим GPT-3 в качестве примера: он был обучен на 570 терабайтах текста, в то время как вес модели составляет всего 175 гигабайтов. Это значит, что объем самой модели — менее 0,03% от всего объема обучающих данных.
Из этого следует, что нейросеть не может "запоминать" весь материал, на котором она обучалась. Вместо этого информация "сжимается" в виде паттернов и правил, закодированных в весах связей между нейронами.
Вполне возможно, что эти "заученные" правила есть нечто подобное логическим рассуждениям. Но проблема в том, что мы не можем это понять. Это как смотреть картину с близкого расстояния - мы все видим, но видим мешанину цветных пятен. Нет способа отойти на расстояние и увидеть нарисованное (интерпретировать мешанину цветных пятен.)
Та же сложность возникает и при попытке анализа работы человеческого мозга. Мы понимаем, как функционируют нейроны и можем наблюдать передачу информации между ними, но не можем объяснить, как это превращается в мысли.
Все это приводит меня к выводу, что ИИ имитирует процесс мышления и, возможно, в некоторых аспектах действительно логически рассуждает.
Искусственный интеллект
5.1K поста11.5K подписчиков
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан