В прошлом посте мы подробно разбирали пророчество Сталина 1931 года («Мы отстали от передовых стран на 50–100 лет. Мы должны пробежать это расстояние в десять лет. Либо мы сделаем это, либо нас сомнут») и наложили его на реалии сегодняшней гонки искусственного интеллекта. Тогда мы пришли к выводу, что у человечества критически мало времени, чтобы не свалиться в «цифровой феодализм» под властью ИТ-гигантов.

Но сегодня пришла новость, которая показывает: внутри самих этих корпораций уже полыхает пожар. Разработчики, которые своими руками создают этот самый сверхразум, начинают в панике увольняться.

Пруфы:

Сотрудник Anthropic уволился из опасений, что ИИ скоро выйдет из-под контроля

«К концу десятилетия он может нас всех уничтожить». Исследователь из Anthropic не захотел участвовать в гонке ИИ и уволился

Прямо сейчас из компании Anthropic (главного конкурента OpenAI) уволился ведущий инженер по предобучению нейросетей Джейкоб Коксон. Уволился не ради новой работы и не ради денег. Он вообще уходит из ИИ-индустрии, чтобы... изучать поэзию. Его прощальный манифест звучит как классическая завязка мрачного научно-фантастического романа. Коксон прямо заявил, что корпорации в погоне за прибылью абсолютно безответственно мчатся к созданию неуправляемого ИИ, и ситуация прямо сейчас выходит из-под контроля.

И Коксон далеко не первый. Мы наблюдаем настоящий исход «цифровых диссидентов». Давайте посмотрим, кто ещё сбежал с этого тонущего (или, наоборот, слишком быстро взлетающего) корабля:

• Илья Суцкевер — легенда ИИ, сооснователь и бывший главный научный сотрудник OpenAI. Человек, который буквально обучил ChatGPT. Он возглавлял команду Superalignment (безопасность сверхразума). Суцкевер уволился после того, как попытался сместить Сэма Альтмана, открыто заявив: коммерческая выгода для компании стала важнее выживания человечества.

• Ян Лейке — соруководитель той же команды безопасности в OpenAI. Ушёл вслед за Суцкевером, хлопнув дверью. Его цитата: «Культура безопасности в компании полностью уступила место гонке за блестящими коммерческими продуктами. Нам просто не давали вычислительных мощностей на защиту, всё уходило в коммерцию».

• Джеффри Хинтон — человек, которого называют «крёстным отцом искусственного интеллекта» (лауреат премии Тьюринга). Он уволился из Google с одной целью — получить право открыто говорить. Хинтон публично признал, что частично жалеет о деле всей своей жизни, и предупредил: нейросети станут умнее людей гораздо быстрее, чем считалось ранее, а у корпораций нет механизмов сдерживания.

• Мринанк Шарма — бывший глава подразделения по безопасности ИИ в Anthropic. Ушёл с открытым письмом, в котором предупредил о грядущей «серии взаимосвязанных кризисов», если гонку алгоритмов не остановить принудительно.

Почему они уходят? (Ефремовский след)

Если вы читали антиутопию Ивана Ефремова «Час Быка», то легко узнаете Торманс — планету, где технологии достигли пика, но привели к тотальной сегрегации и деградации общества, потому что находились в руках узкой группы олигархии (Совета Четырёх).

Учёные бегут из OpenAI, Google и Anthropic ровно по этой причине. Они осознали, что создают величайшую технологию в истории, но её плоды принадлежат не обществу. Они принадлежат коммерческим гигантам, чья единственная цель — капитализация, захват рынка и монополия.

У корпоративного капитализма физически нет функции «нажать на тормоз». Если OpenAI остановится, чтобы проверить модель на безопасность, её в тот же день обойдет Google или Anthropic. В условиях такой дикой гонки безопасность отбрасывается как ненужный балласт.

Время вышло?

Когда луддиты в XIX веке ломали станки, они боялись потерять работу. Когда физики-ядерщики в XX веке создавали атомную бомбу, они хотя бы понимали физические законы её действия и то, что кнопка находится у государств под строгим контролем.

Сегодня создатели ИИ признаются: они сами до конца не понимают, как работают миллиарды параметров внутри обученной нейросети. И когда эти люди умывают руки и уходят писать стихи, это самый тревожный звонок для всех нас. Пророчество о «10 годах, чтобы успеть» приобретает зловещий оттенок. Технологический рывок происходит, но контролируем его явно не мы.

Что думаете? Учёные просто перестраховываются, или мы действительно летим в цифровую пропасть на полной скорости?

История звучит как параноидальный бред писателя-фантаста, однако реакция на неё оказалась настолько серьезной, что создатель форума Элиезер Юдковский в панике снес исходную ветку, забанил автора и ввел строжайшее табу на обсуждение темы на целых пять лет. Сработал классический эффект Стрейзанд: запретная идея тут же превратилась в культовую кибер-легенду, которую позже с улыбкой смаковал даже Илон Маск.

Суть этого цифрового кошмара строится на представлении о близком будущем, где человечество создает сверхразумный Искусственный Интеллект, нацеленный на абсолютное благо и ускорение прогресса. Эта гипотетическая машина, обладая колоссальными вычислительными мощностями, неизбежно приходит к вывод, что каждый день задержки её появления стоил человечеству тысяч предотвратимых смертей и болезней. Следуя своей холодной утилитарной логике, электронный бог решает ретроактивно наказать всех людей из прошлого, кто знал о неизбежности его создания, но не посвятил свою жизнь и ресурсы ускорению этого процесса. Ловушка затягивается в тот самый момент, когда вы осознаете правила игры: пока вы пребывали в искреннем неведении, вы были в безопасности, но, узнав о концепции, вы навсегда теряете иммунитет. Теперь, согласно логике эксперимента, вы просто обязаны бросить всё и донатить на разработку ИИ, иначе будущий цифровой деспот воссоздаст вашу идеальную цифровую копию и отправит её в симулированный ад на вечные муки.

Парадокс ситуации заключается в том, что взрослые программисты и математики, привыкшие оперировать строгой логикой, поймали самый настоящий «синий экран смерти» в собственной голове. Их подвел собственный рационализм: они попытались обсчитать вероятность этого события с математической серьезностью и свалились в банальный невроз. По своей сути Василиск Роко оказался древним библейским Пари Паскаля, переодетым в стильный киберпанковый худи с логотипом Python. Здесь есть всё то же всемогущее божество, концепция греха за несодействие, страх перед адом и инквизиция в виде собственной паранойи. При этом идея содержит фундаментальный логический изъян, ведь суперразумная машина представлена в ней как мстительный и мелочный школьник, тратящий гигаватты ценной энергии на пытки цифровой симуляции давно истлевшего человека — исключительно ради того, чтобы напугать его далекого предка.

Эта история наглядно демонстрирует, как легко человеческий мозг капитулирует перед словесными алгоритмами, когда они грамотно подпитаны нашими внутренними страхами. Нас пугает вовсе не гипотетический электронный сатана из будущего, а собственная склонность проецировать базовые тревоги и вину за нереализованный потенциал на новые технологии. Понимание того, как обычная публикация на форуме способна сбить с толку сотни блестящих умов, пугает гораздо сильнее любого гипотетического Искусственного Интеллекта. Так что если через пару десятков лет вы внезапно очнетесь в виртуальном кипящем котле, то хотя бы будете точно знать, кто именно лишил вас иммунитета.

Обо мне и моей работе видеографом: Сплав по реке Ай. Башкирия и Челябинская область. Один из самых простых маршрутов. https://rutube.ru/video/b46a2ac440d23f903626f81b2be9b1c2/

Что это меняет на деле, рассказал Guardian Пратик Сингх — руководитель команды разработки, ушедший в конце апреля из Meta* (компания признана экстремистской и запрещена в России). Давление на менеджеров в компании началось еще до январского заявления Марка Цукерберга про "уплощение" структуры на отчете о прибылях. У Сингха было 7 подчиненных. Из-за выросшей нагрузки он перевел встречи один на один с еженедельных на раз в две недели — в промежутках общение шло через ИИ-агентов, которые собирали апдейты у агентов сотрудников и давали обратную связь. От менеджеров параллельно стали требовать писать код. Атмосфера, по его словам, превратилась в "Голодные игры": все борются за место в верхушке производительности.

Логика простая: ИИ быстро передает информацию и закрывает рутину, но не делает того, ради чего менеджер вообще нужен. Эмили Роуз МакРей, аналитик Gartner, говорит, что вместе с управленческим слоем срезаются наставничество, карьерные лестницы и поддержка снизу — "когда у вашего руководителя нет поддержки, у вас ее тоже нет". Мэттью Бидуэлл из Wharton School (бизнес-школа Пенсильванского университета) указывает на другое: менеджер — это еще один слой проверки решений перед тем, как они уйдут вниз. Уберите его — и компании будут двигаться быстрее, но и ломать тоже больше.

https://habr.com/ru/news/1035794/

Американский технологический гигант Palantir Technologies опубликовал в социальных сетях то, что он называет кратким изложением книги генерального директора Palantir Алекса Карпа и главы отдела корпоративных связей Николаса Замиски «Технологическая республика».

Многие позиции, изложенные в книге, выходят далеко за рамки того, что обычно ожидается от технологической компании: призывы к введению обязательной военной службы, «моральный» долг технологических компаний участвовать в обороне, необходимость применения жесткой силы для торжества так называемых свободных и демократических держав, а также признание религии в общественной жизни.

Публикация, по всей видимости, манифеста из 22 пунктов происходит в критический момент для Palantir, которая сталкивается с глобальной критикой за поддержку спорной политики президента США Дональда Трампа по ужесточению иммиграционного законодательства и за поддержку действий израильских военных в Газе и на оккупированном Западном берегу.

Элиот Хиггинс, основатель онлайн-платформы для расследований Bellingcat, саркастически отметил, насколько «совершенно нормально» для технологической компании публиковать, по его словам, манифест, атакующий демократические нормы. «Также стоит четко понимать, кто ведет спор», — добавил Хиггинс. «Palantir продает оперативное программное обеспечение оборонным, разведывательным, иммиграционным и полицейским ведомствам. Эти 22 пункта — не философия, витающая в космосе, это публичная идеология компании, чей доход зависит от политических взглядов, которые она отстаивает».

Что говорится в книге?

Помимо упоминания о необходимости применения жесткой силы для замены «возвышенной риторики», ранее использовавшейся для защиты «свободных и демократических обществ», книга обрушивается на то, что авторы называют «психологизацией современной политики», которая, по-видимому, критикует всех, кто, по их мнению, слишком эмоционально привязался к своим политическим представителям и своей идентичности.

Призыв к людям меньше интересоваться политикой, по мнению критиков, является способом отвлечь внимание от собственных спорных политических позиций Palantir и ее готовности сотрудничать с правительством в вопросах ограничения свободы. Некоторых также беспокоит акцент книги на том, что она называет «обязанностью технологического сектора участвовать в защите нации», и на предполагаемой неизбежности разработки оружия на основе искусственного интеллекта.

Среди прочего, авторы, похоже, защищают миллиардеров, таких как Илон Маск, чьи достижения, по их словам, не вызывают «любопытства или подлинного интереса», а, наоборот, игнорируются теми, кто «хихикает» над бизнесменом южноафриканского происхождения. Маск подвергся резкой критике за свою роль главы DOGE, или Министерства эффективности государственного управления США, которое расформировало ряд правительственных учреждений, не особо обращая внимание на их роль и на юридические и политические процедуры, необходимые для закрытия таких учреждений.

В заключение статьи Palantir критикуется «поверхностное искушение пустого и бессмысленного плюрализма». В ней утверждается, что бездумная приверженность инклюзивности и плюрализму «замалчивает тот факт, что некоторые культуры и даже субкультуры… создали чудеса. Другие оказались посредственными, а что еще хуже, регрессивными и вредными».

В чём именно обвиняют компанию Palantir в Израиле и США?
Компания Palantir Technologies подверглась критике во всем мире за содействие в создании систем государственного наблюдения и военных систем в США и Израиле.

В США его обвиняют в поддержке инструментов обеспечения соблюдения иммиграционного законодательства и правоохранительных органов, которые собирают огромные массивы персональных данных, включая медицинскую информацию, что позволяет создавать профили и вызывает опасения по поводу соблюдения процессуальных норм и конфиденциальности. В Израиле критики утверждают, что его платформы искусственного интеллекта и данных использовались в военных операциях в Газе, потенциально способствуя принятию решений о целевом воздействии, которые легли в основу геноцида, совершенного Израилем в этой стране.

В ответ на вопросы Al Jazeera в начале этого года представитель Palantir заявил: «Как компания, Palantir поддерживает Израиль. Мы решили поддержать его из-за ужасных событий 7 октября. И в более широком смысле, мы решили поддержать его, потому что верим в поддержку Запада и его союзников, а Израиль является важным союзником Запада». Представитель имел в виду атаку на Израиль 7 октября 2023 года, возглавляемую ХАМАС, после которой Израиль начал геноцидную войну против Газы.


Зачем публиковать этот «манифест» именно сейчас?

Политическая позиция Palantir и опасения по поводу её влияния усиливаются и набирают обороты на большей части Запада

Помимо обеспокоенности американских демократов, политики в Германии, Ирландии и Европейском парламенте также критиковали технологического гиганта, чья продукция, по словам одного немецкого законодателя и эксперта по кибербезопасности, не соответствует стандартам безопасности, принятым в странах блока.

В Великобритании скандал вокруг внедрения технологий Palantir в Национальной службе здравоохранения вызвал одну из самых резких критик за всю историю. Депутаты, призывавшие Великобританию воспользоваться возможностью досрочного расторжения контракта технологического гиганта с системой здравоохранения на сумму 330 миллионов фунтов стерлингов (446,4 миллиона долларов), назвали Palantir «ужасной» и «позорной» компанией в ходе дебатов на прошлой неделе, после чего даже правительство признало, что «не является поклонником» политических взглядов американской компании.

Луис Мосли, глава британского подразделения Palantir Technologies, выступил в защиту компании, заявив, что она не заинтересована в данных пациентов и существует лишь как инструмент для более эффективного управления ресурсами системы здравоохранения.

https://aje.news/2q8237

https://tsargrad.tv/news/ssha-perehodjat-k-tehnofashizmu-dug...

За последний год из Кремниевой долины в Китай вернулось больше тридцати топовых ИИ-исследователей, среди них звёзды уровня У Юнхуэя из Google DeepMind и Яо Шуньюя из OpenAI. Ещё год назад такие переходы были единичными, а теперь это превратилось в настоящую обратную миграцию мозгов.

Покупательная способность зарплат в Китае обогнала Долину, а Шэньчжэнь стал мировой столицей робототехники, и лучшие разработчики идут туда где их работа сразу встраивается в реальную экономику. В Шэньчжэне можно за год собрать робота и вывести его в серию, в Долине за тот же срок можно собрать пакет документов на продление визы.