Раньше бункерами обзаводились миллиардеры. Теперь запасной аэродром ищут сами инженеры, которые делают ИИ. По данным Wall Street Journal, несколько сотрудников из самого первого набора Anthropic за последние недели рассказывали коллеге по индустрии, что подумывают купить землю в отдалённых уголках США. Переезжать туда они собираются, «если с ИИ что-то пойдёт не так».

Откуда это взялось

Бывшие сотрудники вспоминают, что ещё на корпоративных ужинах в первые годы Anthropic всерьёз обсуждали сценарий в духе Манхэттенского проекта. По нему их могли попросить уехать в пустыню и продолжать делать ИИ в правительственном объекте с электромагнитной защитой.

WSJ связывает это с субкультурой эффективного альтруизма, из которой вышла заметная часть первых сотрудников Anthropic и OpenAI. Это сообщество «думеров» годами просчитывает конец света: до ИИ в их списке угроз стояли астероиды и супервулканы.

Бункеры у верхушки — давняя история

2016 год: Сэм Альтман рассказывал New Yorker, что у него есть оружие, золото, йодид калия, противогазы Армии обороны Израиля и участок в Биг-Суре, куда можно улететь. 2017-й: Рид Хоффман оценивал, что больше половины миллиардеров Кремниевой долины купили «страховку от апокалипсиса», а Питер Тиль к тому моменту уже тихо получил гражданство Новой Зеландии. 2023-й: Wired раскопал подземное убежище на гавайском ранчо Марка Цукерберга, а Илья Суцкевер говорил новым исследователям OpenAI: «Мы обязательно построим бункер, прежде чем выпустим AGI».

Так тренд набирает обороты?

Да, и по двум признакам. Во-первых, раньше готовились миллиардеры, и сразу ко всему: пандемиям, ядерной войне, бунтам. Теперь угроза конкретная, и это продукт, над которым люди работают каждый день. Во-вторых, запасной выход ищут уже не только владельцы компаний, но и ранние сотрудники.

Фон подходящий. Пару недель назад Дарио Амодей призвал лаборатории притормозить, Альтман и Маск его поддержали, а Трамп назвал это «больным заговором» в пользу Китая. Билл Гейтс предупредил, что ИИ может «привести к миллиарду смертей». А OpenAI сегодня остановила обучение после выходок своих агентов.

Ирония в том, что эти же люди продолжают строить то, от чего собираются прятаться. Ответ давно заучен: если не мы, то кто-то менее осторожный. Участок в глуши при таком раскладе — просто страховка на случай, если осторожность не сработает.

Источники: The Decoder, WSJ, Gizmodo

НЕЙРО-ПУШКА ● Новости и обзоры нейросетей

В прошлом посте мы подробно разбирали пророчество Сталина 1931 года («Мы отстали от передовых стран на 50–100 лет. Мы должны пробежать это расстояние в десять лет. Либо мы сделаем это, либо нас сомнут») и наложили его на реалии сегодняшней гонки искусственного интеллекта. Тогда мы пришли к выводу, что у человечества критически мало времени, чтобы не свалиться в «цифровой феодализм» под властью ИТ-гигантов.

Но сегодня пришла новость, которая показывает: внутри самих этих корпораций уже полыхает пожар. Разработчики, которые своими руками создают этот самый сверхразум, начинают в панике увольняться.

Пруфы:

Сотрудник Anthropic уволился из опасений, что ИИ скоро выйдет из-под контроля

«К концу десятилетия он может нас всех уничтожить». Исследователь из Anthropic не захотел участвовать в гонке ИИ и уволился

Прямо сейчас из компании Anthropic (главного конкурента OpenAI) уволился ведущий инженер по предобучению нейросетей Джейкоб Коксон. Уволился не ради новой работы и не ради денег. Он вообще уходит из ИИ-индустрии, чтобы... изучать поэзию. Его прощальный манифест звучит как классическая завязка мрачного научно-фантастического романа. Коксон прямо заявил, что корпорации в погоне за прибылью абсолютно безответственно мчатся к созданию неуправляемого ИИ, и ситуация прямо сейчас выходит из-под контроля.

И Коксон далеко не первый. Мы наблюдаем настоящий исход «цифровых диссидентов». Давайте посмотрим, кто ещё сбежал с этого тонущего (или, наоборот, слишком быстро взлетающего) корабля:

• Илья Суцкевер — легенда ИИ, сооснователь и бывший главный научный сотрудник OpenAI. Человек, который буквально обучил ChatGPT. Он возглавлял команду Superalignment (безопасность сверхразума). Суцкевер уволился после того, как попытался сместить Сэма Альтмана, открыто заявив: коммерческая выгода для компании стала важнее выживания человечества.

• Ян Лейке — соруководитель той же команды безопасности в OpenAI. Ушёл вслед за Суцкевером, хлопнув дверью. Его цитата: «Культура безопасности в компании полностью уступила место гонке за блестящими коммерческими продуктами. Нам просто не давали вычислительных мощностей на защиту, всё уходило в коммерцию».

• Джеффри Хинтон — человек, которого называют «крёстным отцом искусственного интеллекта» (лауреат премии Тьюринга). Он уволился из Google с одной целью — получить право открыто говорить. Хинтон публично признал, что частично жалеет о деле всей своей жизни, и предупредил: нейросети станут умнее людей гораздо быстрее, чем считалось ранее, а у корпораций нет механизмов сдерживания.

• Мринанк Шарма — бывший глава подразделения по безопасности ИИ в Anthropic. Ушёл с открытым письмом, в котором предупредил о грядущей «серии взаимосвязанных кризисов», если гонку алгоритмов не остановить принудительно.

Почему они уходят? (Ефремовский след)

Если вы читали антиутопию Ивана Ефремова «Час Быка», то легко узнаете Торманс — планету, где технологии достигли пика, но привели к тотальной сегрегации и деградации общества, потому что находились в руках узкой группы олигархии (Совета Четырёх).

Учёные бегут из OpenAI, Google и Anthropic ровно по этой причине. Они осознали, что создают величайшую технологию в истории, но её плоды принадлежат не обществу. Они принадлежат коммерческим гигантам, чья единственная цель — капитализация, захват рынка и монополия.

У корпоративного капитализма физически нет функции «нажать на тормоз». Если OpenAI остановится, чтобы проверить модель на безопасность, её в тот же день обойдет Google или Anthropic. В условиях такой дикой гонки безопасность отбрасывается как ненужный балласт.

Время вышло?

Когда луддиты в XIX веке ломали станки, они боялись потерять работу. Когда физики-ядерщики в XX веке создавали атомную бомбу, они хотя бы понимали физические законы её действия и то, что кнопка находится у государств под строгим контролем.

Сегодня создатели ИИ признаются: они сами до конца не понимают, как работают миллиарды параметров внутри обученной нейросети. И когда эти люди умывают руки и уходят писать стихи, это самый тревожный звонок для всех нас. Пророчество о «10 годах, чтобы успеть» приобретает зловещий оттенок. Технологический рывок происходит, но контролируем его явно не мы.

Что думаете? Учёные просто перестраховываются, или мы действительно летим в цифровую пропасть на полной скорости?

История звучит как параноидальный бред писателя-фантаста, однако реакция на неё оказалась настолько серьезной, что создатель форума Элиезер Юдковский в панике снес исходную ветку, забанил автора и ввел строжайшее табу на обсуждение темы на целых пять лет. Сработал классический эффект Стрейзанд: запретная идея тут же превратилась в культовую кибер-легенду, которую позже с улыбкой смаковал даже Илон Маск.

Суть этого цифрового кошмара строится на представлении о близком будущем, где человечество создает сверхразумный Искусственный Интеллект, нацеленный на абсолютное благо и ускорение прогресса. Эта гипотетическая машина, обладая колоссальными вычислительными мощностями, неизбежно приходит к вывод, что каждый день задержки её появления стоил человечеству тысяч предотвратимых смертей и болезней. Следуя своей холодной утилитарной логике, электронный бог решает ретроактивно наказать всех людей из прошлого, кто знал о неизбежности его создания, но не посвятил свою жизнь и ресурсы ускорению этого процесса. Ловушка затягивается в тот самый момент, когда вы осознаете правила игры: пока вы пребывали в искреннем неведении, вы были в безопасности, но, узнав о концепции, вы навсегда теряете иммунитет. Теперь, согласно логике эксперимента, вы просто обязаны бросить всё и донатить на разработку ИИ, иначе будущий цифровой деспот воссоздаст вашу идеальную цифровую копию и отправит её в симулированный ад на вечные муки.

Парадокс ситуации заключается в том, что взрослые программисты и математики, привыкшие оперировать строгой логикой, поймали самый настоящий «синий экран смерти» в собственной голове. Их подвел собственный рационализм: они попытались обсчитать вероятность этого события с математической серьезностью и свалились в банальный невроз. По своей сути Василиск Роко оказался древним библейским Пари Паскаля, переодетым в стильный киберпанковый худи с логотипом Python. Здесь есть всё то же всемогущее божество, концепция греха за несодействие, страх перед адом и инквизиция в виде собственной паранойи. При этом идея содержит фундаментальный логический изъян, ведь суперразумная машина представлена в ней как мстительный и мелочный школьник, тратящий гигаватты ценной энергии на пытки цифровой симуляции давно истлевшего человека — исключительно ради того, чтобы напугать его далекого предка.

Эта история наглядно демонстрирует, как легко человеческий мозг капитулирует перед словесными алгоритмами, когда они грамотно подпитаны нашими внутренними страхами. Нас пугает вовсе не гипотетический электронный сатана из будущего, а собственная склонность проецировать базовые тревоги и вину за нереализованный потенциал на новые технологии. Понимание того, как обычная публикация на форуме способна сбить с толку сотни блестящих умов, пугает гораздо сильнее любого гипотетического Искусственного Интеллекта. Так что если через пару десятков лет вы внезапно очнетесь в виртуальном кипящем котле, то хотя бы будете точно знать, кто именно лишил вас иммунитета.

Обо мне и моей работе видеографом: Сплав по реке Ай. Башкирия и Челябинская область. Один из самых простых маршрутов. https://rutube.ru/video/b46a2ac440d23f903626f81b2be9b1c2/