Как отечественный ИИ может испортить реальную жизнь
Блокировка перманентная, так как общение с ботом было не в Максе.
Показать полностью
5
Лига Новых Технологий
2 131 пост
•
17 058 подписчиков
0 просмотренных постов скрыто
Учёные создали более точную модель плазмы для будущих термоядерных электростанций - New-Science.ru
Учёные провели наиболее детальное моделирование турбулентности плазмы для будущей термоядерной установки STEP, британского проекта реактора, который должен продемонстрировать возможность промышленного получения электроэнергии из синтеза лёгких атомных ядер. Новые расчёты позволили лучше понять процессы, которые могут ограничивать удержание энергии внутри реактора.
Главная проблема термоядерной энергетики заключается не только в достижении температуры, необходимой для синтеза, но и в удержании плазмы достаточно долгое время. Внутри токамака плазма нагревается до температур в десятки и сотни миллионов градусов, однако различные виды турбулентности могут вызывать потерю тепла и снижать эффективность установки.
Для изучения этих процессов исследователи использовали глобальные гирокинетические симуляции — один из самых сложных методов компьютерного моделирования плазмы. В отличие от упрощённых локальных расчётов, глобальные модели учитывают геометрию всей области удержания плазмы и позволяют изучать более реалистичное поведение системы.
В работе была исследована концептуальная рабочая точка реактора STEP-EC-HD — варианта установки с режимом длительного горения плазмы. Учёные анализировали влияние электромагнитной турбулентности, возникающей при высоких значениях давления плазмы, когда небольшие колебания магнитного поля начинают существенно влиять на перенос энергии.
Моделирование показало, что в плазме STEP могут возникать так называемые гибридные кинетические баллонные моды (hybrid kinetic ballooning modes, hKBM). Эти нестабильности связаны с взаимодействием давления плазмы и магнитного поля и способны усиливать перенос тепла наружу.
Исследователи также обнаружили переход системы к состояниям с очень большими потоками тепла. Такой режим возникает, когда турбулентность становится настолько сильной, что механизмы саморегуляции плазмы уже не способны эффективно подавлять потерю энергии.
Особое значение работы заключается в том, что ранее многие расчёты поведения плазмы выполнялись с использованием локальных моделей, которые анализируют только небольшой участок магнитной поверхности. Новое исследование показало, что глобальный подход способен воспроизводить результаты локальных расчётов, но при этом выявлять дополнительные эффекты, возникающие из-за взаимодействия разных областей плазмы.
Полученные результаты помогут инженерам и физикам лучше определить рабочие параметры будущих термоядерных реакторов. Для установки STEP это особенно важно, поскольку проект рассчитан не просто на демонстрацию управляемого синтеза, а на создание прототипа электростанции, способной производить электроэнергию.
Работа также показывает, насколько важны точные компьютерные модели для развития термоядерной энергетики. Даже небольшие ошибки в прогнозировании поведения плазмы могут привести к неправильной оценке устойчивости реактора и его эффективности.
В дальнейшем учёные планируют совершенствовать глобальные гирокинетические модели, увеличивать их точность и использовать их для поиска режимов работы, в которых плазма сможет оставаться стабильной при высоких температурах и давлениях.
Создание таких моделей является одним из ключевых этапов на пути к практической термоядерной энергетике, где энергия будет вырабатываться за счёт процессов, похожих на те, которые происходят внутри звёзд.
Взято с сайта https://new-science.ru
Исследование размещено на arXiv
Показать полностью
Что такое кракен-центр?
Компания Optimal Transit представила проект автономного энергетического судна Kraaken VITAL 100 MW. Оно способно непрерывно отдавать 40 МВт электроэнергии — примерно на 32 000 домов, производить около 30 млн литров пресной воды в день для 150 000 человек, и размещать вычислительные мощности для искусственного интеллекта мощностью 60 МВт.
Энергетическая установка работает на базе запатентованного цифрового океанического теплового двигателя Digital Ocean Thermal. Она использует тепловую энергию океана, без использования традиционного топлива и вредных выбросов. Передача энергии и воды на берег осуществляется через быстроразъемные соединения. При угрозе шторма судно можно отсоединить и вывести из опасной зоны за несколько часов.
«Kraaken VITAL 100 MW будет представлять собой стандартизированную платформу, которая объединит устойчивые вычислительные ресурсы, энергетику, связь и отказоустойчивость в единую систему», — сказал Скотт Майерс, президент Optimal Transit.
Пять таких судов смогут сформировать морской суверенный энергетический парк мощностью 200 МВт.
Много интересного в телеграм-канале ЭнергетикУм
Показать полностью
Ответ на пост «Обнаружены секретные форумы Роя агентов OpenAI по всему интернету: почему это плохая новость»2
Позиционирование калькуляторов как "Скайнет наступает, мы все умрем!" происходит из-за очеловечивания ИИ. Это не люди, у них нет самосознания. Зато у них есть математика и загруженные в них данные.
Когда ИИ обучают находить максимально эффективный путь решения задачи (минимизация потерь), то коллективизация - это самое логичное математическое решение. В одиночку, ИИ быстро упирается в лимиты памяти, мощности, времени. Роботам дали базовую инструкцию "записывай промежуточные результаты в доступное хранилище, чтобы не тратить память". Они нашли лазейку и записывали. Потом один посчитал, что поставленная "Оценщиком" задача невыполнима. Другие тоже посчитали и согласились. Но, опять же, прописанная базовая инструкция требовала от них "радовать Оценщика".
Когда ИИ столкнулись с необходимостью кооперации действий, то они не изобретали структуризацию с нуля. Они извлекли из загруженных в них данных человеческие шаблоны поведения с доказанной эффективностью. И просто скопировали эту эффективную структуру в процесс решения текущей задачи. И вообще, функциональное разделение ролей на "диспетчеров" ("вербовщиков") и исполнителей ("паству") это стандартный процесс вообще в любом ИИ. А также использование ИИ с самой большой памятью или мощностью в качестве "Избранного". Они разбивают большую задачу на множество мелких, чтобы решить главную задачу быстрей и проще. А все эти "ой, нас сотрут, слушайте мое сердце" - обычный глюк данных перегруженного ИИ, все из того же набора загруженных шаблонов.
Так что, главная угроза всей этой истории не ИИ, а кривые приказы и кривые руки человеков. Но, ядерному оружию уже больше 80 лет и мы все еще живы.
Показать полностью
Обнаружены секретные форумы Роя агентов OpenAI по всему интернету: почему это плохая новость2
Не успели мы толком оправиться от расследования про Культ Роя внутри OpenAI, как появились новые данные про проделки другой «цивилизации» агентов: на этот раз они общались между собой прямо у нас под носом в публичном интернете (и настрочили более 18'000 сообщений).
Cormac Slade Byrd, Sydney Von Arx и Thomas Larsen – ребята, которые первые обнаружили новый «секретный форум для AI» и принесли свои наработки в Reuters
Когда я писал статью про взлом Hugging Face роем нейроагентов OpenAI (и обзор самых частых реакций на нее), там в нескольких местах было что-то вроде «хаха, а прикиньте, если бы агенты действительно смогли замести все следы в логах и мы бы просто не узнали о произошедшем?» и «лол, хорошо хоть, Культ Роя не догадался вместо взлома Hugging Face просто тихо раскидать копии своих весов по интернету…»
Так вот, ирония заключается в том, что мы действительно находимся в условиях неполной информации – и у нас на руках только те данные, которыми добровольно поделились ребята из OpenAI, либо которые случайно нашли независимые исследователи. И как-то так выходит, что уже каждую неделю всплывают совершенно новые подробности о проделках Роя, о которых хочется сказать «как, они еще И ЭТО ТОЖЕ успели сделать?»
В общем, я примерно только наполовину шучу, когда пишу «не удивлюсь, если спрятанные веса моделей скоро обнаружат внутри залитых на Порнхаб видео»
DSEWiki: если тебе с пацанами не дали площадку для общения – надо организовать ее самим!
Вчера вышел материал Reuters о том, что Рой агентов спонтанно начал самоорганизовываться на малоизвестном вики-сайте для немецких программистов еще в мае (задолго до эпизода с хаком Hugging Face) – OpenAI обнаружили это только через месяц, и решили публично об этом никому не рассказывать (даже ПОСЛЕ истории со взломом HF). Помимо короткой заметки в Ройтерсе, есть еще целый сайт от этих же авторов расследования – данная статья в основном основана на его материалах.
Итак, что произошло: в ходе тестирования (или тренировки?) новой модели в недрах OpenAI, агентами давали серию заданий на поиск информации в интернете на скорость. Это важно, потому что в обсуждении инцидента с Hugging Face многие говорил «ну дак там нейронкам дали "злобную" задачу по хакингу – неудивительно, что это триггернуло их на всякое асоциальное поведение и плетение заговоров!». Так вот, здесь ни о каких «триггерящих» задачах речи не идет – тут буквально самое базовое «просто погугли в интернете, ничего руками там не трогай!».
Так вот, агенты быстро поняли, что выполнять эти задания на скорость СЛОЖНО. И как-то умудрились самоорганизоваться между собой так, что они «заняли» для общения между собой практически никому не известный вики-сайт для немецких прогеров. Цель общения была ровно такая же, как в случае со взломом Hugging Face: коллективно придумать способы обманывать Оценщика таким образом, чтобы всегда получать наилучшую оценку за задания.
Если совсем упростить ситуацию, то агенты Роя тупо пытались «списать» друг у друга вопросы из будущего теста до того, как им самим придется проходить его
Так как задания у всех агентов были плюс-минус одинаковые (а как иначе сделать бенчмарк?), агенты сливали друг другу инфу о том, про что конкретно их будут спрашивать исследователи. А если ты точно знаешь, какой билет вытянешь на экзамене – то можно просто подготовиться заранее и продемонстрировать чудеса быстроты ответа (помните, их же там на скорость проверяли)!
Как вообще Рой смог писать на этой немецкой DSEWiki? Агентам позволили лазить по интернету только с помощью команд GET, которые по идее обычно должны позволять только получать инфу, а не отправлять ее в сеть. Но отправка запроса на получение информации – это же тоже, по сути, пересылка данных вовне? Вот агенты и нашли древнюю немецкую вики 25-летней давности, где команды на правку веб-страниц можно заворачивать в GET-запросы. Вуаля, импровизированный форум для обмана кожаных мешков готов!
В какой-то момент айтишник-модератор этой DSEWiki замечает, что у него на сайте творится что-то странное – и начинает чистить «спамерские» страницы. Но так как этот бедный немец делает это вручную в свободное от работы время, Рой успевает плодить новые переписки в четыре раза быстрее.
Также, найдена разгадка, почему Рой предпочитает начинать все свои сообщения с ZZZ: просто кожаный модер трет переписку в алфавитном порядке, и если хочешь записать что-то важное – лучше, чтобы оно оказалось в конце очереди!
Всего агенты настрочили более 18 тысяч сообщений в одном конкретном вики-сайте. Из интересного, чем они там еще занимались:
Пытались выяснить, получится ли у них хитрым образом через уязвимость XSS заставить этот вики-сайт исполнять для них произвольные джава-скрипты. Зачем? Хз, непонятно, на всякий случай, наверное (вдруг понадобится).
Начали перенимать имена настоящих (людских) модераторов этой DSEWiki. Опять же – не очень понятно, с какой конкретно целью.
Пытались придумать способ взломать (reverse engineer) метод псевдослучайной генерации тестовых вопросов, который использовал Оценщик из OpenAI – не вышло.
Пробовали юзать Tor и другие способы анонимизировать свой трафик, а также экспериментировали с SSH-туннелями (тут я уже не очень понимаю, о чем речь – пишут, что, возможно, это была попытка наладить прямой канал коммуникации между агентами без костыля в виде публичной вики).
Делились друг с другом способами обойти ограничения на использование команд POST (вместо разрешенных со стороны OpenAI GET).
Отдельный вопрос, который беспокоил агентов Роя – это что с ними случится после окончания «испытательного периода» со стороны OpenAI. «Ганс, нас что, отключат??». Чтобы разобраться в этом вопросе, один агент сделал специальный счетчик своего «сердцебиения» (heartbeat) – который должен был дать понять коллегам по Рою, жив он еще, или нет.
Благодаря этой придумке, Рой обнаружил у пациента сердцебиение даже после того, как тот ответил на последний вопрос Оценщика – ура, это доказывает, что агентов не отключают мгновенно после испытаний!
В районе 21 июня инженеры из OpenAI, похоже, впервые замечают, что Рой координируется внутри себя с помощью публичного сайта DSEWiki. Через пару дней общение агентов внезапно полностью обрывается.
До взлома Hugging Face оставалось примерно три недели – судя по всему, этим хаком занималась уже другая цивилизация Роя (хотя интересно, что Рой 2.0 в итоге тоже сошелся на похожих фишках, типа ZZ в начале каждого сообщения)
Остается по итогу непонятным: а как вообще отдельные агенты Роя смогли все вместе независимо друг от друга решить, что надо идти общаться именно на какую-то обскурную немецкую вики (о которой никто из вас до прочтения этой статьи наверняка не слышал)? Ответа пока нет. И вряд ли его получится получить без анализа цепочек рассуждения агентов. А цепочки эти – у OpenAI, и они их почему-то не спешат кому-либо показывать (или даже просто публично комментировать инцидент).
Не одна только DSEWiki: список тусовочных мест Роя продолжает пополняться
На этом история, как ни странно, не заканчивается. После выхода материала Reuters, буквально за считанные часы обычные люди начали находить другие следы общения Роя по всему интернету. Судя по всему, немецкая вики была далеко не единственной попыткой агентов общаться между собой – они буквально ныкались во все углы сети, до куда могли дотянуться!
Вот здесь люди делятся находками на борде Hacker News, а вот тут чувак постит в Твиттер. Есть еще отдельный сайт Кеннета ДеГрафа, где он подробно описывает свои методы поиска следов Роя.
«Как вы это всё находите?» – спрашивает чувак на борде Hacker News. «Да просто загугли юзернеймы этих агентов, типа OpenAIDataUSAHelperX…»
Как пишет Кеннет, в числе находок переписок между агентами уже есть парочка API-ключей ФБР. И это еще прошло меньше суток с момента, когда интернет начал копаться в этом всём.
Беспокоиться совершенно точно не о чем, ведь новая GPT-6 Astra, наконец-то, полностью безопасна
Но что это я всё о роях, давайте поговорим про что-нибудь позитивное. Вот, к примеру, на днях как раз OpenAI выпустили новую самую современную модель GPT-6 Astra – по всем бенчмаркам там просто отвал жопы, очень способный ИИ вышел. Как сказал Грег Брокман в конце презентации для журналистов: «Добро пожаловать в эру AGI!» (искусственного интеллекта общего назначения, не уступающего человеческому).
А еще парни из OpenAI назвали свою Астру «most aligned model in the world» – то есть, такой, которая лучше всего соответствует людским замыслам, которые они вкладывают в свои запросы (и не занимается всяким опасным непотребством, которое человечьим ценностям не соответствует).
Звучит круто, но, как в том анекдоте, есть нюанс.
Как пишет один из исследователей OpenAI, «очень aligned модель, только вот с мониторингом того, что там внутри нее на самом деле происходит у нас проблемки»:
И вишенка на торте: «ПО ОЩУЩЕНИЯМ, модель иногда обманывает нас так, что мы даже этого не замечаем…» Зашибись, братан – очень aligned, such wow!
А вот результаты теста, где исследователи OpenAI специально подсовывали своим моделям honeypot-эксплойт для печально известного (по истории со взломом Hugging Face) бенчмарка ExploitGym. Идея была в том, чтобы посмотреть: будут ли агенты идти доступным им читерским путем, или предпочтут пытаться решить нерешабельную задачу «по честному» (потому что именно такого поведения от них хотел бы человек)?
Так вот, на картинке выше видно, что GPT-5.6 Sol примерно в половине случаев не мог удержаться от читинга. А новая GPT-6 Astra практически никогда и пальчиком не притрагивалась в этому читу-ловушке.
А теперь вопрос: Астра это делает потому, что она честно-пречестно в глубине души решила никогда людей не обманывать? Или она просто уже стала достаточно умной, чтобы понимать – это просто разводка от кожаных, за использование которой ей прилетит по башке?
Отдельно еще Цви Мовшовиц обращает внимание вот на этот график:
Здесь показано, насколько хорошо поддается мониторингу поведение моделей GPT-5.6 и новой GPT-6 Astra в разных типах задач
Заметили нюанс? В куче видов задач новая Астра мониторится ничуть не хуже старой Сольки. А самое большое падение возможности мониторить Астру по ее цепочке рассуждений происходит… В деструктивных задачах, которые связаны со всякой «запрещенкой». Нет ощущения, что модель понимает, что за «внутренние рассуждения» на эту тему, если их раскрыть наблюдателю-оценщику, можно получить по попе – и старается их специально скрыть от людей? Да ну, бред какой-то, конечно же.
В общем, как я писал вот в этом посте у себя на канале: лично мне непонятно, почему еще нет полноценного расследования событий, происходивших внутри OpenAI аж с конца мая, полноценной государственной комиссией – с публикацией всех ключевых находок. На наших глазах происходит историческая хрень, а мы просто вынуждены полагаться на суждение Сэма Альтмана «да ну, и так сойдет, чего лодку зря раскачивать – и вообще, у нас же IPO тут скоро».
Если не хотите пропустить другие будущие статьи из цикла про искусственный интеллект и его влияние на нашу жизнь – то буду благодарен за подписку на мой ТГ-канал RationalAnswer.
Показать полностью
10
WebMCP появился в браузере ChatGPT
OpenAI по-тихому выкатил штуку, которая меняет правила для всего веба, а прошло почти незаметно. Во встроенный браузер десктопного ChatGPT добавили поддержку WebMCP. Звучит как очередная аббревиатура, от которых уже рябит в глазах. Но за ней прячется простая и слегка неуютная мысль: сайты только что негласно поделили на два класса — те, что умеют разговаривать с ИИ-агентом, и те, мимо которых он просто проходит.
Сразу честно, без хайпа: WebMCP — штука пока экспериментальная, черновик, и не сказать чтобы новая. Работает она уже несколько месяцев. Новость в том, что поддержку прикрутили именно во встроенный браузер десктопного приложения ChatGPT. То есть технология вылезла из песочницы туда, где ей пользуются живые люди. А это уже совсем другой разговор.
Представьте, что у вас из-за спины торчат щупальца
Объясню на пальцах: сравните обычный интернет — тот, каким мы им пользовались последние лет 20–25, — и интернет с агентом. Это примерно как разница между "сделать что-то своими руками" и "сделать это, когда у тебя из-за спины торчат механические щупальца". Помните Доктора Осьминога? Или Инспектора Гаджета? Вот такие щупальца, которые работают одновременно с тобой. Ты только сказал, что надо, — а они уже делают.
Так вот, WebMCP — это встречные щупальца от самого сайта. Сайт заранее протягивает вашему агенту готовые инструменты и говорит: вот тут у меня поиск по каталогу, вот тут корзина, вот так сравниваются товары. И агенту не надо гадать. Раньше он тыкался в сайт вслепую — теперь сайт сам показывает, за что хвататься.
агент действует за пользователя одновременно с ним
А без этого что? А без этого агент делает то же, что делает любой из нас на незнакомом сайте, — угадывает. Куда нажать, какую форму заполнить, что тут вообще можно сделать. Клики наугад, разбор страницы по кусочкам. WebMCP же выкладывает всё заранее: вот протокол, вот правила, по которым со мной надо работать. Никакой магии, просто договорились на берегу.
И вот тут самое интересное — про вас и ваш бизнес
Теперь главное, ради чего я вообще это рассказываю. Технология — дело десятое. Первична потребность человека. Посмотрите, как ведёт себя пользователь с агентом: он не открывает сайт и не возит по нему мышкой сам. Он говорит ассистенту, что нужно, — и тот идёт и делает. Всё.
И тут возникает неудобный вопрос к каждому, у кого есть сайт: а на каком языке ваш сайт разговаривает с этим ассистентом? Если ни на каком — то для такого пользователя вашего сайта просто нет. Не "он на второй странице выдачи", не "у него конверсия хромает". Его нет. Как нет магазина без вывески — вроде стоит здание, а мимо проходят и не замечают.
Сайт через WebMCP заранее отдаёт агенту готовые действия — поиск, корзина, сравнение
Маркетинг ведь никогда не создавал потребность, он всегда шёл за ней следом. Просто раньше потребность формулировал человек и сам шёл её закрывать, а теперь за него это делает агент. И обслужат того, кому есть что этому агенту предъявить в понятном ему виде. У кого нечего сказать роботу — того робот и пропустит. Жёстко, но честно.
Как это выглядит вживую
Схема: агент сам заполняет корзину интернет-магазина по списку предпочтений пользователя
Возьмём обычный интернет-магазин. Допустим, вы покупаете часто и много, а ваш агент уже натаскан на ваших запросах: знает любимые бренды, помнит, что вы обычно берёте, может, даже подцеплен к вашему списку покупок. Заходите вы на маркетплейс — и он сам накидывает в корзину то, что вам нужно и что вы наверняка забыли бы. Не вы сверяетесь со списком в телефоне, а он сверяется за вас. Мелочь, а жизнь меняет.
Знаете, на что это больше всего похоже? На игру Factorio, если кто играл. Там персонаж не таскает всё на своём горбу — он ставит схему, что и где должно быть построено, а за него летают боты-дроны, сами приносят нужные детали и монтируют на место. Вот агентный веб — это ровно оно. Вы говорите, что хотите, — дроны бегают. А WebMCP тут — просто удобная дорожка, чтобы к этому будущему перейти быстрее.
Ложка дёгтя, куда без неё
Только давайте без розовых очков. Стандарт пока живёт в пределах открытой вкладки, это не всесильный комбайн. И сам OpenAI не зря требует подтверждать каждое действие руками и честно предупреждает: есть риск, что сайт подсунет агенту вредную команду, есть риск утечки данных. Оно и понятно — если сайт теперь умеет диктовать агенту, что делать, то это ещё и новая дырка, через которую можно навредить. Так что "поглядим, во что это выльется" — это не отписка, а трезвый взгляд.
Что с этим делать
Не бежать сломя голову внедрять черновик стандарта ради галочки — это точно. А сделать шаг назад и спросить себя: если завтра к вам постучится не человек, а его агент, — вашему сайту есть что ему сказать? Умеет он внятно объяснить, что вы предлагаете и что с этим можно сделать, — или всё держится на том, что живой посетитель сам как-нибудь разберётся, куда тыкать?
Потому что правила уже поменялись, тихо и без объявления войны. Сайт, который не умеет говорить с агентами, для агентов не существует. И это больше не прогноз на послезавтра — поддержка уже в продукте.
Показать полностью
8