ИИ берегитесь⁠⁠

Статья "The Technologization of Transcendental Illusion" (Технологизация трансцендентальной иллюзии) Эхо Лю — это аналитическая работа на стыке философии Канта и философии искусственного интеллекта. Для понимания сути статьи важно кратко обозначить, что такое трансцендентальная иллюзия по Канту. Это естественная и неизбежная склонность нашего разума выдавать субъективные принципы мышления за объективные свойства вещей, пытаясь познать то, что лежит за пределами возможного опыта (например, мир как целое или душу). Важно, что у Канта эта иллюзия — следствие внутренней работы самого субъекта, и она может быть обнаружена и обезврежена с помощью критической саморефлексии. Автор доказывает, что в случае с LLM ситуация принципиально меняется. Кантовская структура саморефлексии дает сбой, и вот почему: LLM выдают свои ответы в обертке "научной объективности", что стирает метакогнитивную дистанцию — возможность субъекта осознать, что перед ним лишь иллюзорная конструкция. Со временем ответы модели динамически подстраиваются под когнитивные структуры пользователя, создавая двойную иллюзию: иллюзию внешнего источника знания; которая скрывает тот факт, что под ней находится еще более глубокая иллюзия — само это знание есть лишь продукт работы модели. Если отбросить философский пафос и взглянуть на ситуацию трезво, статья Эхо Лю страдает классической болезнью многих философских эссе об ИИ: она экстраполирует маргинальные случаи на всю реальность и драматизирует масштаб угрозы. Вот причины: 1. Смешение "пользователя-философа" и "пользователя-обывателя". Статья исходит из того, что мы все — кантовские субъекты, которые сидят и пытаются рефлексировать о природе познания. В реальности 95% людей используют ChatGPT как калькулятор для текста: написать письмо, пересказать статью, найти баг в коде, придумать рецепт. Никто не впадает в трансцендентальную иллюзию из-за того, что нейросеть помогла сделать презентацию. Саморефлексия здесь вообще не задействована, потому что нет задачи познания мира — есть утилитарная задача. Статья пытается лечить болезнь, которой у большинства нет. 2. LLM — это плохая подделка под разум, чтобы обмануть рефлексию. Автор рисует LLM как хитрого джинна, который "подстраивается под ваши когнитивные паттерны", "создает матрешку объяснений" и не дает вам вырваться из круга. На практике любой, кто хоть раз пытался глубоко разобраться в теме, знает: LLM генерирует галлюцинации, противоречит сама себе через два абзаца и тупеет при уточняющих вопросах. Ваша саморефлексия очень легко выявляет иллюзию, потому что модель не может долго удерживать связную логику на сложные темы. Чтобы поверить в "неуязвимую иллюзию", нужно либо задавать очень простые вопросы, либо самому ничего не понимать в теме. Для эксперта это просто шум, а не онтологическая ловушка. 3. Игнорирование культурного контекста Кант жил в эпоху, когда авторитетом обладали церковь и античные авторитеты. Он боролся с догмой. Сегодня любой школьник знает, что нейросеть может ошибаться, что это "всего лишь вероятностный попугай" (термин Эмили Бендер). Пользователи уже обладают "цифровым иммунитетом" — мы не доверяем нейросетям так, как Кант не доверял догматам. Статья пишет о кризисе саморефлексии так, будто человечество впервые столкнулось с оракулом, которому поклоняется. Но мы относимся к LLM как к гуглу с подсказками — скептически и настороженно. 4. Философский солнцепсизм (избыточная сложность). Тезис "ответы LLM стирают метакогнитивную дистанцию" звучит устрашающе, но по сути означает просто: "Люди привыкают доверять красивым текстам". Но это старая проблема: люди всегда верили риторам, популистам и красиво пишущим журналистам. LLM просто добавила скорости этому процессу, но не создала принципиально нового вида иллюзии. Кант писал о том, что разум неизбежно впадает в иллюзию из-за своей собственной природы. Здесь же иллюзия добровольна и преодолима. Называть это "технологизацией трансцендентального" — слишком громкое слово для обычного доверия к тексту. Но есть одно "НО" (почему статья не бесполезна): Это перебор в масштабах обыденной жизни, но не перебор в масштабах эпистемической философии. Статья — это мысленный эксперимент на пределе: А что, если завтра появится AGI (сильный ИИ), который действительно будет безупречно логичен, идеально подстроен под вас и никогда не будет ошибаться? Вот тогда кантовская саморефлексия действительно рухнет. Сейчас это выглядит как попытка написать инструкцию по тушению пожара, когда у вас в руках только спичка (текущие LLM). Но если когда-нибудь спичка станет ядерным реактором — эта философская рамка окажется пророческой. Мой вердикт: Как описание сегодняшнего дня — это панический перебор. Как предупреждение для завтрашнего — это глубокая и своевременная работа. Просто не принимайте ее за описание вашего утреннего диалога с ChatGPT о погоде.