ChatGPT делает нас тупее? Мы прочитали две свежие научные статьи — и всё оказалось сложнее
▶️ Rutube — если с YouTube тяжело:
https://rutube.ru/video/376f9564a452e09c72740b025818c389/
Кажется, вокруг ИИ сейчас есть два лагеря.
Одни говорят:
«Да это просто новый калькулятор. Когда-то и Google обвиняли в том, что он отучит людей думать».
Другие:
«Мы постепенно отдаём машинам мышление и скоро сами ничего не сможем».
Проблема в том, что оба тезиса обычно обсуждаются примерно на уровне ощущений.
Поэтому мы решили сделать странную вещь: взяли две научные работы про влияние ИИ, прочитали их и устроили двухчасовой публичный разбор с последующим спором.
И уже первая статья дала довольно неприятный результат.
Люди, которые сначала решали задачи с AI-помощником, после его отключения в среднем справлялись хуже и чаще вообще отказывались решать задачу.
Особенно плохо выглядела группа, которая использовала ИИ в режиме:
— дай ответ;
— спасибо.
Звучит как идеальный заголовок:
«Учёные доказали: ChatGPT делает нас тупее»
Но вот только ничего подобного они не доказали.
И именно поэтому было интересно копаться дальше.
Запись всего разбора и дискуссии:
▶️ YouTube :
Если YouTube у вас работает плохо — в конце оставлю полную запись на Rutube:
А теперь самое интересное: что именно исследовали и почему простой вывод начинает разваливаться, как только открываешь саму статью.
Сначала дали ИИ. Потом забрали
В первой работе было несколько экспериментов, суммарно — 1 222 участника.
Люди решали довольно простые задачи: в одних экспериментах математические, в другом — на понимание текста.
Часть участников могла использовать AI-помощника.
А потом помощника убирали и смотрели, что человек сможет сделать самостоятельно.
Результат повторился в нескольких экспериментах:
после работы с AI участники в среднем хуже справлялись самостоятельно и чаще нажимали «пропустить».
Причём авторы посмотрели ещё и на то, как именно люди пользовались помощником.
Большая часть просто просила готовый ответ.
Другие спрашивали подсказки и объяснения.
И сильнее всего падение было как раз у первой группы — тех, кто делегировал решение целиком.
На этом месте очень хочется сказать:
Ну всё понятно. Не думал сам — разучился думать.
Но тут начинаются вопросики.
Эксперимент занимал порядка 10–13 минут.
Самостоятельную работу после AI в математической части проверяли всего на нескольких финальных задачах.
К претестам и калибровке участников тоже можно придираться.
А во время нашей дискуссии один из участников придумал отличную аналогию.
Представьте двух людей, которым нужно пробежать 150 метров.
Одному говорят:
Вот дорога. Беги.
Второму дают электросамокат.
Он едет.
А перед финишем самокат внезапно отбирают:
Всё, теперь быстренько беги сам.
Если второй первые метры окажется медленнее первого — доказали ли мы, что самокат разучил человека ходить?
Или мы измерили совсем другой эффект: стресс, переключение стратегии, отсутствие подготовки к самостоятельному режиму?
Мне кажется, вот здесь и начинается нормальная наука.
Не в моменте «посмотрите, p-value меньше 0,05», а в моменте:
а что именно мы сейчас померили?
А потом мы посмотрели на 41 миллион научных статей
Вторая работа задаёт уже совсем другой вопрос.
Не:
Что ИИ делает с конкретным человеком?
А:
Что ИИ делает с самой наукой?
Авторы исследовали 41,3 миллиона научных публикаций.
И сначала результаты выглядят практически как реклама AI для молодого учёного.
Учёные, использующие методы искусственного интеллекта, в среднем:
— публикуются больше;
— получают больше цитирований;
— быстрее становятся руководителями собственных исследовательских проектов.
То есть на уровне отдельного человека:
ИИ — отлично.
Но потом авторы посмотрели не на карьеру одного учёного, а на всё пространство исследований.
И обнаружили другой эффект.
Работы с применением AI занимают более узкое тематическое пространство.
Грубо говоря, исследователи чаще идут туда, где уже есть:
— много данных;
— хорошие вычислительные методы;
— финансирование;
— возможность быстро получить измеримый результат.
Авторы используют старую метафору:
поиск ключей под фонарём
Человек потерял ключи где-то в темноте, но ищет их под фонарём.
— Ты здесь их потерял?
— Нет.
— А почему здесь ищешь?
— Потому что здесь светло.
С AI может происходить похожее.
Мы становимся невероятно эффективными там, где инструмент уже хорош.
Но это не обязательно те места, где лежат самые интересные вопросы.
Учёные могут решать одну задачу и не знать друг о друге
Ещё один результат второй работы мне особенно понравился.
Авторы смотрели, насколько научные статьи внутри AI-направлений взаимодействуют между собой.
И обнаружили пары исследований, которые фактически решают очень похожие задачи, но практически не замечают существования друг друга.
Это можно прочитать двумя совершенно разными способами.
Вариант пессимиста
Наука массово переизобретает велосипеды.
Все бегут по одной и той же модной тропинке и производят всё больше похожих работ.
Вариант оптимиста
Прекрасно.
Независимые группы несколько раз проверяют одну и ту же идею.
Во времена кризиса воспроизводимости это вообще может быть не багом, а фичей.
И вот кто здесь прав — уже совсем не очевидно.
Но есть одна огромная ловушка: слово «ИИ»
Вот это, пожалуй, моя любимая часть всей истории.
Когда сейчас читаешь заголовок:
«Искусственный интеллект меняет науку»
мозг автоматически подставляет:
ChatGPT. Claude. Gemini. Большие языковые модели.
А в исследовании под AI понимается намного более широкое множество методов.
Туда входят и классическое машинное обучение, и методы, которыми исследователи пользуются уже много лет.
Вплоть до вещей, которые современный человек вообще не назвал бы «ChatGPT-подобным ИИ».
Поэтому сказать:
«После появления ChatGPT наука стала тематически уже»
на основании этой работы нельзя.
Хотя именно такой пересказ очень хочется написать в новостях.
И это, кстати, одна из причин, зачем вообще иногда открывать саму научную статью, а не только читать новость «учёные выяснили».
И тут мы внезапно перестали обсуждать статьи
Примерно через час разговор уехал в вопрос, который лично мне кажется намного интереснее обоих исследований.
А что человек вообще должен продолжать уметь делать самостоятельно, если инструмент никуда не денется?
Мы же не считаем в столбик каждый раз, когда рядом есть калькулятор.
Не запоминаем номера телефонов.
Не строим маршрут по бумажной карте, чтобы не потерять навык ориентирования.
Не отказываемся от Google, потому что раньше люди ходили в библиотеку.
Почему с ChatGPT должно быть иначе?
Но есть любопытное отличие.
Калькулятор отнимает у нас довольно конкретную когнитивную операцию.
Навигатор — ещё одну.
А современные AI-системы постепенно залезают сразу почти во всё:
— написать текст;
— придумать аргументы;
— сравнить варианты;
— найти ошибку;
— проанализировать документ;
— спроектировать решение;
— написать программу;
— объяснить непонятное;
— найти источники.
И поэтому вопрос, возможно, сформулирован неправильно.
Не:
«Можно ли пользоваться ИИ?»
Конечно можно. И будем.
А:
Где заканчивается инструмент и начинается навык, который нам всё-таки важно сохранить?
И вот на этот вопрос у меня хорошего ответа пока нет.
Собственно, ради таких разговоров мы и сделали Sci-club — клуб чтения научных статей.
Не формат:
пришёл человек с регалиями и два часа рассказывал всем, как устроен мир.
А формат:
вот первоисточник;
вот человек, который в него глубоко закопался;
давайте попробуем вместе понять, что авторы действительно показали — и где их можно покусать.
Первую работу разбирала Анастасия Тмур, вторую — Ангелина Зайцева.
А потом участники ещё примерно час пытались найти в этих исследованиях слабые места.
По-моему, это довольно правильная судьба для научной статьи.
Записи
▶️ YouTube:
https://youtu.be/khPJAmmT_VU
▶️ Rutube — если с YouTube тяжело:
https://rutube.ru/video/376f9564a452e09c72740b025818c389/
Сами статьи
AI Assistance Reduces Persistence and Hurts Independent Performance
https://arxiv.org/abs/2604.04721
Artificial intelligence tools expand scientists’ impact but contract science’s focus
https://doi.org/10.1038/s41586-025-09922-y
И мне правда интересно устроить маленький эксперимент уже здесь.
Какой навык вы уже совершенно спокойно отдали ChatGPT и не собираетесь возвращать?
И наоборот:
