Взято из ТГ https://t.me/spydell_finance/10114
Это, возможно, один из самых недооцененных рисков ИИ-трансформации. Процесс отупения общества шел стремительно еще до появления LLMs, но сейчас этот процесс может ускориться едва ли не по экспоненте.
Не прогресс может ускориться, а деградация общества ускорится!
Речь идет о постепенном разрушении самого механизма формирования интеллекта, когда человек получает результат, не проходя путь, который прежде был необходим для приобретения способности насыщения когнитивной глубины.
Интеллект формируется не потреблением правильных ответов, а длительным прохождением через неопределенность, поиск информации и данных, разрешение ошибок и противоречий, причинный анализ и самостоятельную коррекцию собственной модели мира.
Именно поэтому в образовательной среде запрещают списывать. Не столько ради контроля знаний, сколько потому, что готовый ответ уничтожает образовательную функцию задачи, а ИИ – это и есть «намертво привязанная шпаргалка».
Правильный ответ является лишь конечным продуктом этого процесса. Главный результат обучения находится не на бумаге, а внутри сложного биохимического процесса в мозге в виде самостоятельного достижения результата.
Чтобы решить проблему самостоятельно, человек вынужден: понять условия, декомпозировать задачу, вспомнить необходимую информацию (активировать функцию памяти), сформировать гипотезы, выбрать правильный метод, ошибиться, обнаружить противоречие, вернуться назад, пересобрать модель и только затем получить результат.
ИИ способен вырезать практически всю эту когнитивную цепочку.
Технологии и научные прорывы создаются в результате экстремального насилия и невыносимого давления на все функции мозга (сам знаю).
ИИ дает мгновенную кнопку выхода из неопределенности, скорее имитация выхода.
Если этот паттерн становится нормой с детства, может возникнуть интеллектуальная непереносимость усилия, когда человек теряет способность долго удерживать сложную проблему без немедленного вознаграждения.
Без усилия человек никогда не приобретет интеллект, т.е. останется на уровне пограничным с животным.
Самостоятельное понимание затратно (во всех смыслах), тяжело, медленно и психологически неприятно, а правдоподобный готовый ответ дешев, мгновенен и комфортен.
Человечество неминуемо пойдет по пути наименьшего сопротивления, т.е. высокоинтенсивное отупение.
Проблема усугубляется тем, что последствия проявляются с огромным лагом. Общество статистически выглядит умнее за счет замещения задач продуктом ИИ деятельности, но в своей основе стремительно деградирует.
Мышление не запускается в комфорте. Мышление – это всегда стресс, именно поэтому никто не любит думать и панически боится интеллектуальной работы.
Нейробиологический процесс обучения требует состояния когнитивного тупика (продуктивной фрустрации). В этот момент в мозге выбрасываются норадреналин и ацетилхолин, фокусирующие внимание на ошибке, после чего через сотни итераций подбора гипотез активируется дофаминовое подкрепление. Этот стресс заставляет кору выстраивать новые синаптические связи. Когда готовое решение выдается мгновенно, фаза поиска и фрустрации обнуляется.
Человеческий мозг склонен путать узнавание с пониманием. Читая логичный, связный и стилистически выверенный ответ модели, человек испытывает ощущение ясности. Возникает феномен «списывания отличника»: списывающему кажется, что раз чужое доказательство теоремы ему понятно в процессе чтения, он владеет предметом. Однако пассивное потребление чужого структурированного вывода задействует лишь зоны распознавания образов, оставляя префронтальную кору в режиме функционального покоя. Навык конструирования мысли распадается, подменяясь навыком поверхностного серфинга по готовым концептам.
Способность решать нетривиальные задачи прямо пропорциональна числу сущностей и ограничений, которые человек способен удерживать в голове одновременно.
Перекладывая декомпозицию, сопоставление и структурирование данных на интерфейс ИИ, человек сужает собственную рабочую память до длины единичного запроса, разрушая весь мыслительный процесс.
Человек разучивается удерживать сложные, противоречивые причинно-следственные связи, превращаясь в оператора простых триггеров.
Становление эксперта в любой дисциплине подчиняется закону кумулятивного накопления скрытого опыта. Высококлассный эксперт не возникает непосредственно из университета, а является результатом решения тысяч типовых задач от начала и до конца, разрешения тысяч ошибок и пограничных ситуаций, и многолетнего накопления неформализованного опыта.
Невозможно вырастить эксперта, исключив путь, по которому формируется экспертиза.
Это значит, что по мере выхода зрелого поколения экспертов (по возрасту или в связи с отупением), новых экспертов не появится, как минимум, в сопоставимом количестве.
Раньше интернет позволил вынести наружу память: человеку уже необязательно было помнить информацию, достаточно знать, где ее найти. LLMs идут намного дальше, вынося наружу не только память, но и поиск, анализ, синтез, аргументацию, планирование и даже формирование причинной модели.
Возникает принципиально новая ситуация: человечество впервые получает возможность пользоваться интеллектом, не приобретая интеллект.
Человек задает сложный вопрос, получает великолепно структурированное объяснение, понимает (или скорее думает, считает, что понимает, да и то не всегда) каждое предложение и принимает понимание текста за собственное понимание проблемы. Но если убрать ИИ и попросить самостоятельно воспроизвести причинную конструкцию, изменить исходные предпосылки или найти ошибку, внезапно выясняется, что интеллект существовал только в момент подключения к внешней системе.
ИИ экономит текущие человеко-часы, одновременно потенциально уничтожая инвестиции в будущую компетентность.
Получается парадоксальная ситуация: текущая производительность во многих областях растет, а скорость накопления человеческого капитала снижается, причем стремительно и неотвратимо.
Грубо говоря, при отключении доступа к ИИ, уже совсем скоро человечество превратится в тупых зомбарей, не способных решить ни одной, даже самой элементарной задачи.
Однако, отупение приводит к тому, что человечество утратит возможность верифицировать, контролировать, корректно воспроизводить результат работы ИИ, полностью оголяя свою непробиваемую некомпетентность.
Если субъект не прошел путь формирования знания снизу вверх, он лишен инструментов внутренней валидации. Для него истинно то, что выдает авторитетный алгоритмический оракул.
Общество входит в эпоху тотальной внушаемости, неспособное решать ни одной существенной задачи, теряя способность к контролю, управлению, осмыслению, рефлексии и формулировке сложных вопросов.
Это и есть полная катастрофа с далеко идущими последствиями.
