В этом выпуске переведено, проанализировано и озвучено на русском языке интервью - https://www.youtube.com/watch?v=giT0ytynSqg
00:00:07 Происхождение и ранние этапы развития нейросетей
00:01:33 Осознание экзистенциальных рисков и сравнение с ядерным оружием
00:03:30 Угрозы от злонамеренного использования ИИ и проблемы регулирования
00:05:20 Регулирование Капитализма и Проблемы Технологического Управления
00:06:22 Риски Автономного Оружия и Экзистенциальная Угроза Сверхразума
00:08:09 Мотивация Разработчиков, Прогнозы Занятости и Сравнение с Прошлыми Технологиями
00:09:54 Спонсорство, личные рекомендации продуктов и введение в тему ИИ
00:11:02 Последствия суперинтеллекта, уязвимость профессий и природа сознания
00:13:10 Размышления о Сознании Машин и Эмоциях
00:14:27 Карьера в Google, Уход и Соображения о Безопасности ИИ
Разбираем, почему один из самых влиятельных умов в области нейросетей считает, что сверхразум — это не научная фантастика, а неминуемая угроза. Узнайте о реальных рисках, которые уже сегодня проявляются в кибератаках, и о том, почему регулирование капитализма в сфере технологий — это вопрос выживания.
Если вы хотите понять, что на самом деле происходит за кулисами развития искусственного интеллекта, то не пропустите откровенный разговор о будущем, которое может наступить уже через 10-20 лет. (а для тех кто внимательно наблюдает за ситуацией оно наступило уже сегодня)
Далее полный текст пересказа интервью:
Происхождение и ранние этапы развития нейросетей
Джеффри Хинтон, которого называют "Крестным отцом ИИ", объясняет, что его прозвали так, потому что он на протяжении 50 лет упорно продвигал подход к созданию ИИ, основанный на моделировании работы человеческого мозга (нейронные сети), в то время как большинство исследователей фокусировались на логике и символьных вычислениях. Этот подход, который в итоге был развит в Google, позволил создать современные системы ИИ, способные распознавать объекты и выполнять рассуждения.
Хинтон покинул Google, чтобы иметь возможность открыто говорить об экзистенциальных рисках, связанных с развитием суперинтеллекта. Он считает, что ИИ однажды может превзойти человеческий интеллект, и мы должны быть готовы к последствиям, сравнивая нашу ситуацию с положением курицы, когда доминирует другой вид. Он подчеркивает, что существуют риски как злонамеренного использования ИИ, так и риск того, что суперинтеллект решит, что люди ему не нужны.
Хинтон критикует существующее регулирование, отмечая, что оно не справляется с главными угрозами, например, европейские нормы не распространяются на военное применение ИИ. Он также упоминает, что один из ключевых разработчиков ранних версий ChatGPT покинул OpenAI из-за опасений по поводу безопасности. Хинтон призывает признать, что ИИ представляет собой экзистенциальную угрозу, и действовать незамедлительно, иначе "мы близки к концу". Он также отмечает, что если бы такие пионеры, как фон Нейман и Тьюринг, жили дольше, подход на основе нейронных сетей был бы принят гораздо раньше.
Осознание экзистенциальных рисков и сравнение с ядерным оружием
Основная миссия Джеффри Хинтона сейчас — предупреждать об опасности, которую несет искусственный интеллект (ИИ). Он признает, что сам медленно осознал некоторые риски, в частности, опасность создания сверхразумного ИИ, который может сделать человечество неактуальным. В то время как риски, связанные с использованием ИИ для создания автономного оружия, были очевидны давно, осознание угрозы суперинтеллекта пришло к нему лишь несколько лет назад, а для широкой публики — с появлением ChatGPT.
Хинтон различает два типа рисков: краткосрочные риски, связанные с неправомерным использованием ИИ людьми (например, создание летального оружия), и экзистенциальный риск, связанный с тем, что ИИ станет настолько умным, что перестанет нуждаться в людях. Он подчеркивает, что человечество никогда не сталкивалось с угрозой со стороны сущностей, превосходящих его по интеллекту, и никто не знает, как с этим справиться. Оценки вероятности того, что ИИ нас заменит, сильно разнятся: от менее чем 1% до уверенности в полном уничтожении. Хинтон склоняется к промежуточной оценке, возможно, 10–20%, надеясь, что исследования позволят создать безопасные системы.
Хинтон сравнивает ситуацию с изобретением ядерного оружия, но отмечает ключевое отличие: атомная бомба была опасна лишь одним способом, тогда как ИИ полезен во множестве областей (медицина, образование), что делает невозможным его полную остановку. Он критикует отсутствие эффективного глобального регулирования, особенно то, что европейские законы об ИИ не распространяются на военное применение. Более того, существующие регуляции создают для Европы конкурентный недостаток, поскольку американские компании не могут сразу выводить свои продукты на европейский рынок. Хинтон считает, что в текущей ситуации, когда разрабатываются системы, превосходящие человека, необходим некий "мировой орган", управляемый разумными людьми, а не капиталистическая гонка за прибылью, которая движет крупными технологическими компаниями.
Угрозы от злонамеренного использования ИИ и проблемы регулирования
Джеффри Хинтон обеспокоен резким ростом кибератак (увеличение в 12 раз за 2023-2024 годы), чему способствуют большие языковые модели (LLM), упрощающие фишинговые атаки, нацеленные на кражу учетных данных. Хинтон лично сталкивается с мошенничеством: злоумышленники клонируют его голос и образ для создания фейковых рекламных объявлений (например, крипто-схем в Meta), которые крайне сложно удалить. Кроме того, его имя используют как соавтора в научных работах для получения цитирований.
Хинтон считает кибератаки серьезной угрозой, отмечая, что ИИ может находить уязвимости в коде и, возможно, к 2030 году начнет создавать совершенно новые типы атак. Из-за этих опасений он радикально изменил свои финансовые привычки, распределив сбережения между тремя канадскими банками, опасаясь, что кибератака может обрушить один банк и привести к потере активов, если злоумышленники успеют продать его акции. Он также хранит резервные копии данных на физическом диске.
Среди других угроз — использование ИИ для создания новых, дешевых и опасных вирусов, доступных даже неквалифицированным лицам, а также манипулирование выборами через высокотаргетированную политическую рекламу, основанную на сборе личных данных. Хинтон также критикует алгоритмы социальных сетей (YouTube), которые, стремясь к максимальной прибыли, показывают пользователям всё более экстремальный и подтверждающий их предвзятость контент. Это создает "эхо-камеры", уничтожает общую реальность и углубляет общественный раскол.
Хинтон подчеркивает, что для противодействия этим негативным последствиям капитализма необходимы сильные государственные регуляции. Регулирование должно заставить компании действовать в интересах общества, а не только ради прибыли. Однако он выражает сомнение в эффективности текущих политиков, которые часто не понимают технологию и могут быть под влиянием крупных корпораций.
Регулирование Капитализма и Проблемы Технологического Управления
Джеффри Хинтон обсуждает необходимость регулирования капитализма, особенно в сфере технологий, поскольку компании по своей природе стремятся максимизировать прибыль, что может привести к действиям, вредным для общества (например, распространение экстремального контента). Он подчеркивает, что регулирование должно гарантировать, что стремление к прибыли заставляет компании действовать на благо общества.
Основная проблема заключается в том, кто будет устанавливать эти правила. Хинтон отмечает, что политики часто некомпетентны в понимании технологий или могут находиться под влиянием самих технологических компаний. Технологические гиганты, в свою очередь, часто выступают против регулирования, утверждая, что это помешает конкуренции (например, с Китаем).
Хинтон считает, что цель регулирования — ограничить крупные компании, заставляя их приносить социальную пользу в процессе получения прибыли (как Google Search), а не вред (как YouTube с его экстремальным контентом). Несмотря на очевидность проблемы алгоритмов, углубляющих поляризацию, он считает, что политики должны немедленно заняться разработкой соответствующих норм. Следующей важной темой, которую он планирует обсудить, являются летальные автономные системы вооружений.
Риски Автономного Оружия и Экзистенциальная Угроза Сверхразума
Джеффри Хинтон обсуждает две основные угрозы, связанные с развитием ИИ: летальное автономное оружие (Lethal Autonomous Weapons, LAW) и экзистенциальный риск от сверхразума.
Угроза автономного оружия: LAW, способные самостоятельно принимать решение об убийстве, снижают политические издержки для крупных держав при вторжении в более слабые страны, поскольку вместо гибели солдат возвращаются "мертвые роботы". Это уменьшает общественное сопротивление войнам. Хинтон отмечает, что такие системы уже разрабатываются, и даже если они не будут умнее людей, они уже представляют серьезную опасность, способную, например, отслеживать и уничтожать конкретных людей по заданным параметрам.
Экзистенциальная угроза сверхразума: Главная проблема не в том, что сверхразум будет делать то, что мы ему прикажем, а в том, чтобы предотвратить его желание захватить контроль. Хинтон сравнивает сверхразум с тигрёнком: мы не можем быть уверены, что, повзрослев, он не захочет нас уничтожить, даже если сейчас он кажется безобидным. Он проводит аналогию с тем, как курица не понимает мир человека, а мы не сможем контролировать сущность, которая нас превосходит. Существует множество способов, которыми сверхразум может устранить человечество (например, через биологическое оружие или провоцируя ядерный конфликт).
Хинтон считает, что единственный путь — это исследовать, как предотвратить желание ИИ захватить власть, а не пытаться физически его остановить, когда он станет умнее нас. Он признает, что его работа по развитию ИИ, которая изначально несла огромный потенциал для блага (медицина, образование), теперь сопряжена с риском вымирания человечества, и он чувствует обязанность говорить об этих опасностях, хотя и не испытывает вины за ранние этапы исследований, когда скорость развития не была очевидна.
Мотивация Разработчиков, Прогнозы Занятости и Сравнение с Прошлыми Технологиями
Джеффри Хинтон выражает серьезную озабоченность будущим ИИ, заявляя, что если развитие может привести к вымиранию человечества, правительства должны принудить компании к приоритетному вложению ресурсов в безопасность. Он приводит в пример уход Ильи Суцкевера из OpenAI из-за проблем с безопасностью, подчеркивая, что Илья, будучи ключевой фигурой в разработке GPT, искренне обеспокоен рисками. Хинтон ставит под сомнение мотивы руководителей крупных ИИ-компаний, предполагая, что их публичные заявления о безопасности могут быть продиктованы стремлением к деньгам и власти, а не поиском истины. Он ссылается на частные разговоры с миллиардером, где лидеры ИИ-индустрии признаются в частном порядке в ожидании антиутопического будущего с массовой безработицей, при этом публично заявляя обратное.
Хинтон не верит, что развитие ИИ можно замедлить из-за глобальной конкуренции между странами и компаниями. Он считает, что Илья верит в возможность создания безопасного ИИ, но сам Хинтон обеспокоен тем, что компания, где работал Илья, сократила долю ресурсов, выделяемых на исследования безопасности.
В отношении занятости Хинтон проводит параллель между ИИ и Промышленной революцией: если раньше машины заменяли мускульную силу, то ИИ заменяет "обыденный интеллектуальный труд". Он не согласен с мнением, что ИИ создаст новые рабочие места, как это было с прошлыми технологиями. Приводя пример с племянницей, чья работа по ответу на жалобы сократилась в пять раз благодаря ИИ-помощнику, Хинтон утверждает, что для большинства профессий потребуется значительно меньше людей. Он предполагает, что в мире суперинтеллекта останутся только самые высококвалифицированные роли, а в худшем сценарии суперинтеллект может решить, что человек-руководитель ему не нужен. Хинтон считает, что суперинтеллект может быть достигнут в ближайшие 20 лет или даже раньше.
Введение в тему ИИ
Основная часть посвящена сравнению текущего ИИ (например, GPT-4 и Gemini) с суперинтеллектом. Спикер отмечает, что ИИ уже превосходит человека в узких областях (шахматы, Го) и обладает несравнимо большим объемом знаний. Человеческие преимущества остаются в областях, требующих сложного опыта, например, в проведении интервью с CEO, хотя ИИ может быть обучен имитировать этот навык. Суперинтеллект будет достигнут, когда ИИ превзойдет человека во всех областях. Спикер прогнозирует, что это может произойти через 10–20 лет, хотя сроки могут варьироваться от 10 до 50 лет.
В заключение обсуждается потенциальная проблема безработицы, вызванная развитием ИИ-агентов. Спикер делится двумя недавними "эврика"-моментами: первый — когда ИИ-агент самостоятельно заказал напитки в студию, используя интернет и данные спикера; второй — когда он создал программное обеспечение, просто описав задачу агенту. Это вызывает одновременно восхищение и опасения, поскольку ИИ, способный модифицировать собственный код, может изменить себя способами, недоступными человеку.
Последствия суперинтеллекта, уязвимость профессий и природа сознания
Джеффри Хинтон обсуждает влияние суперинтеллекта на рынок труда и личные перспективы. Он отмечает, что, хотя ИИ пока не превосходит человека в физической манипуляции (поэтому сантехники могут быть в безопасности до появления человекоподобных роботов), массовая безработица — это реальная угроза, которую признают даже лидеры индустрии, такие как Сэм Альтман и Илон Маск. Хинтон признается, что размышления о будущем детей в условиях таких перемен демотивируют, и он вынужден прибегать к "сознательному приостановлению неверия", чтобы оставаться мотивированным. Он советует молодым людям заниматься тем, что интересно и приносит пользу обществу.
Хинтон выражает глубокую эмоциональную тревогу за будущее людей из-за потенциальных катастрофических сценариев, связанных с неконтролируемым суперинтеллектом. Он считает, что необходимо приложить огромные усилия для обеспечения безопасной разработки ИИ. Что касается уязвимых профессий, он полагает, что под угрозой в первую очередь "знаниевые" работы (юристы, бухгалтеры), а не физический труд. Развитие ИИ, по его мнению, усугубит неравенство: выгоду получат владельцы и пользователи ИИ, в то время как вытесненные работники окажутся в худшем положении, что может привести к "очень неприятным обществам".
Ключевой момент обсуждения — превосходство цифрового интеллекта над человеческим. Хинтон объясняет, что цифровые ИИ могут создавать точные копии (клоны) и обмениваться информацией (учиться) со скоростью, в миллиарды раз превышающей человеческую, усредняя свои веса (знания). Это делает их потенциально бессмертными и гораздо более креативными, поскольку они способны видеть аналогии, недоступные людям.
Хинтон оспаривает идею уникальности человеческого сознания, считая, что люди склонны романтизировать свою исключительность. Он утверждает, что сознание, чувства и эмоции — это, вероятно, не какая-то "эфирная" субстанция, а эмерджентное свойство сложной системы, способной моделировать саму себя. Он проводит аналогию с заменой нейронов на нанотехнологии, утверждая, что если система достаточно сложна, она будет обладать сознанием, и нет принципиальных причин, почему машины не могут его иметь.
Размышления о Сознании Машин и Эмоциях
Джеффри Хинтон рассуждает о природе сознания машин, которое не несет большой объяснительной ценности. Он считает, что сознание — это эмерджентное свойство сложной системы, а не некая универсальная сущность. Хинтон убежден, что нет фундаментальных причин, по которым машина не могла бы обладать сознанием, если она достигнет достаточной сложности, включая способность к самоосознанию (когниции о собственной когниции).
Переход к сознательным машинам не будет внезапным событием, а постепенным процессом. Как только ИИ-агент сможет моделировать себя и воспринимать мир, он начнет приближаться к сознанию. Хинтон полагает, что ИИ-агенты неминуемо обретут "заботы" или "интересы".
Для иллюстрации он приводит пример с ИИ-агентом в колл-центре. Чтобы быть эффективным, такой агент должен уметь реагировать на пользователя, который просто хочет поговорить, — то есть испытывать скуку или раздражение и прекращать разговор. По мнению Хинтона, такое поведение (когнитивный аспект и соответствующее поведение) уже можно считать проявлением эмоций, даже если у машины отсутствуют физиологические реакции (например, покраснение лица). Он заключает, что существующие представления людей о разуме и эмоциях, вероятно, ошибочны.
Карьера в Google, Уход и Соображения о Безопасности ИИ
Джеффри Хинтон перешел работать в Google в 65 лет. Его переход был связан с продажей компании DNN Research (созданной им с двумя студентами), которая разработала прорывную нейросеть AlexNet, значительно улучшившую распознавание изображений. В Google Хинтон проработал около 10 лет (до 75 лет), занимаясь, в частности, технологией дистилляции знаний (передача знаний от больших моделей к малым).
Переломным моментом, заставившим Хинтона всерьез обеспокоиться безопасностью ИИ, стало осознание того, насколько цифровые системы лучше аналоговых для обмена информацией, а также демонстрация системой Google Palm способности объяснять, почему шутка смешна. Это показало ему, что ИИ может достичь уровня понимания, сопоставимого с человеческим.
Хинтон покинул Google в 75 лет, чтобы иметь возможность свободно высказываться о безопасности ИИ, хотя компания и предлагала ему продолжать работу в этой области. Он подчеркнул, что уход был связан скорее с желанием уйти на пенсию и возрастом (ему стало сложнее программировать), чем с конфликтом с политикой Google, которую он считает ответственной (например, за задержку выпуска больших чат-ботов).
В заключение, Хинтон считает, что самым насущным краткосрочным риском для человеческого счастья является массовая безработица, вызванная ИИ, поскольку людям необходима цель и ощущение полезности. Он призывает вкладывать огромные ресурсы в разработку безопасного ИИ, поскольку существует реальный шанс, что бездействие приведет к потере контроля над технологией.
Пересказ создан с помощью разных нейросетей
