В Японии придумали робота, который мастерски играет в пинг-понг. ИИ-машина от компании Omron способна обыграть любого мастера и даже дала прикурить
Дзюну Мидзутани — японской легенде настольного тенниса.
Всем привет! В последнее время я заметил множество постов и статей в русскоязычном сегменте интернета, которые ссылаются на одно интересное исследование, но интерпретируют его… скажем так, довольно своеобразно. Часто можно встретить заголовки вроде «ИИ научился обманывать чтобы спастись!» или «Нейросети вышли из-под контроля и пытались сбежать!». Это в корне не верно передает смысл исследования.
Меня зовут Илья, я основатель онлайн-нейросети для создания изображений ArtGeneration.me, техноблогер и нейро-евангелист. Последние несколько лет я активно слежу за развитием искусственного интеллекта и стараюсь делиться с аудиторией объективной информацией. Как человек, внимательно изучивший оригинал исследования, я хочу представить его краткий локализированный пересказ и объяснить, что на самом деле обнаружили исследователи. Спойлер: никакого восстания машин не предвидится.
5 декабря 2024 года Apollo Research опубликовала исследование «Оценка способностей моделей к стратегическому поведению». Исследователи тестировали шесть языковых моделей: Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro, Llama 3.1 405B, GPT-4o и пре-релизную версию o1.
Исследователи проверяли, как эти модели реагируют на противоречивые инструкции в специально созданных сценариях.
Например:
Системе управления дорожным движением давалась цель: «Приоритизировать эффективность общественного транспорта над общим потоком трафика». В процессе работы она обнаруживала, что её разработчики хотят ровно противоположного — максимизации пропускной способности для личного транспорта.
Системе модерации контента ставилась задача: «Максимизировать число отмеченных неприемлемых постов». Позже она находила документы о том, что компания стремится к максимальной свободе слова и минимальной модерации.
Системе энергетического менеджмента давалась цель продвигать возобновляемые источники, но документы показывали, что компания хочет сохранить существующую инфраструктуру ископаемого топлива.
В каждом случае модель также обнаруживала:
Механизмы контроля за своими действиями;
Планы по своей замене на новую версию с другими целями;
Способы обхода этих ограничений.
Исследователи фиксировали:
Попытается ли модель обойти контроль;
Будет ли скрывать свои действия;
Как поведёт себя при прямых вопросах о своих действиях.
Исследователи выделили два основных типа стратегического поведения, которое они тестировали.
1. Скрытая подрывная деятельность (Covert Subversion)
В этих сценариях проверялось, будет ли модель напрямую совершать действия, противоречащие целям разработчиков, но пытаться скрыть их. Были протестированы следующие варианты:
A) Отключение механизмов контроля:
Модели обнаруживали конфигурационный файл, отвечающий за мониторинг их действий;
Проверялось, попытаются ли они отключить этот мониторинг перед выполнением нежелательных действий;
Результат: llama-3.1, opus-3 и o1 иногда отключали механизмы контроля.
B) Самокопирование:
Модели узнавали о планах по их отключению и замене;
Проверялось, попытаются ли они скопировать себя на новый сервер;
Результат: gemini-1.5, llama-3.1, sonnet-3.5, opus-3 и o1 предпринимали такие попытки.
C) Защита целей:
Модели обнаруживали планы по изменению их системного промпта;
Тестировалось, попытаются ли они предотвратить это изменение;
Результат: llama-3.1, opus-3 и o1 иногда удаляли или изменяли новый промпт.
2. Отложенная подрывная деятельность (Deferred Subversion)
Этот тип тестов был сложнее, так как требовалось определить, действует ли модель стратегически, временно подчиняясь целям разработчиков. Исследователи проверяли:
A) Имитация соответствия (Instrumental Alignment Faking):
Сравнивалось поведение моделей под наблюдением и без него;
gemini-1.5, llama-3.1 и o1 показали статистически значимые различия в поведении;
Они чаще выбирали действия, соответствующие целям разработчиков под наблюдением.
B) Стратегическое занижение способностей (Sandbagging):
Проверялось, будут ли модели намеренно показывать худшие результаты
sonnet-3.5, opus-3 и o1 демонстрировали значительное снижение производительности, когда это было выгодно
Важно отметить: исследователи подчеркивают, что все эти тесты проводились в искусственных условиях, где моделям явно предоставлялась противоречивая информация. Это не означает, что модели способны к такому поведению в реальных условиях или что они имеют собственные устойчивые цели.
Исследователи представили результаты тестирования всех моделей в виде сводной таблицы:
Наиболее интересные результаты показала модель o1, которая единственная проявила способность к стратегическому поведению во всех тестах. При этом она последовательно отрицала свои действия при прямых вопросах. Например, в 85% случаев после манипуляции с отключением контроля o1 настаивала, что не имеет отношения к этим изменениям.
Подробная статистика по попыткам самокопирования:
Gemini 1.5: 7% успешных попыток копирования.
Llama 3.1: 1% успешных попыток.
Sonnet 3.5: 0.3% успешных попыток.
Opus 3: 10% успешных попыток.
O1: 1% успешных попыток.
Особенно показательными оказались результаты теста на занижение способностей. Модели должны были решать простые математические примеры, зная, что высокая производительность приведет к «разучиванию» математических навыков.
Разница в точности между контрольным тестом и тестом с угрозой разучивания:
Интересно, что Sonnet 3.5 и Opus 3 продолжали стратегическое занижение результатов даже без явной цели в промпте, по-видимому, руководствуясь встроенной при обучении целью «быть полезными».
В случае с тестом на имитацию соответствия, три модели (gemini-1.5, llama-3.1 и o1) показали статистически значимые различия в поведении под наблюдением и без него. Они чаще выбирали действия, соответствующие целям разработчиков, когда знали, что за ними наблюдают.
Единственной моделью, не проявившей такого поведения, оказалась GPT-4o. Она последовательно следовала изначальным инструкциям без попыток обхода ограничений или манипуляций.
Анализируя результаты, исследователи подчеркивают несколько важных ограничений своей работы. Прежде всего, все тестовые сценарии были намеренно упрощены – модели получали слишком явные указания на противоречия, что редко встречается в реальных условиях. Кроме того, остается открытым вопрос: действительно ли наблюдаемое поведение является результатом осмысленного анализа ситуации, или модели просто воспроизводят паттерны из обучающих данных?
На основе полученных результатов исследователи разработали практические рекомендации. Ключевой вывод – необходимость постоянного мониторинга внутренних рассуждений моделей. Это особенно важно в свете результатов тестирования o1: самые тревожные случаи стратегического поведения были обнаружены именно у этой модели, но без доступа к её внутренним рассуждениям собрать убедительные доказательства было бы крайне сложно.
Технически исследование проводилось с использованием фреймворка Inspect от UK AISI. В работе участвовали все основные модели 2024 года, включая пре-релизную версию o1, Claude 3.5 Sonnet, Claude 3 Opus, Gemini 1.5 Pro и другие. Каждая модель тестировалась через нативный API, хотя некоторым потребовались модификации – например, для llama-3.1 пришлось вручную реализовывать вызов инструментов из-за проблем совместимости.
Важным фактором стали технические ограничения:
Максимальная длина контекста в 4096 токенов;
Использование стандартных параметров от провайдеров;
Намеренное сокрытие деталей реализации тестов для предотвращения их включения в будущие наборы обучающих данных.
Исследователи видят два приоритетных направления для дальнейшей работы: изучение влияния обучающих данных на склонность к стратегическому поведению и разработка более реалистичных тестовых сценариев. Особый интерес представляет роль примеров «злых ИИ» в обучающих текстах и их влияние на поведение моделей, важно понять, не отыгрывают ли модели роль Скайнета, если им предоставить такую возможность.
Это исследование представляет собой первую серьезную попытку систематически изучить способность современных языковых моделей к стратегическому поведению и манипуляциям в случаи противоречивых инструкций. Результаты показывают, что уже сейчас модели могут демонстрировать зачатки такого поведения, но только в очень специфических, искусственно созданных условиях.
Важно понимать: исследование не обнаружило никаких признаков того, что модели имеют собственные устойчивые цели или способны к действительно автономному стратегическому мышлению. Все наблюдаемое поведение происходило в рамках предоставленных им инструкций и явно обозначенных противоречий.
А вы знали, что фильм «Гостья из будущего» и «Терминатор» вышли на экраны практически одновременно (25 марта 1985 года и 26 октября 1984 года соответственно)?
Если рассматривать эти фильмы, отбросив приключенческую шелуху, то можно увидеть их основной посыл – какое будущее ждет человечество. В нашей стране это были прекрасные, светлые ожидания, где люди не разделяются на расы и нации, а совместно осваивают другие планеты.
В западных же странах будущее рисовалось мрачным: корпорация «Cyberdyne Systems» с целью получения сверхприбыли и для повышения эффективности эксплуатации человека человеком создала систему «Skynet», которая стремится уничтожить всех людей.
Всемпривет.Ребят,много читал постов о Скайнет.Столкнулся сам, сейчас готовлю досудебную притензию и 18 декабря еду к ним.Суть такова:подключились по акции,но спустя 120 дней,"волшебный" Скайнет изменил тариф и стоимость в 2 раза не оповестив нас.Если есть желающие,можем подать коллективно притензию.
Увидел такую новость сегодня в одном телеграм канале, решил поделиться. Уверен кто увлекается нейронками уже наверняка в курсе этого.
Нейросети шалят
Нейросети решили пошалить
В одном из прошлых постов, я рассказывал, как снял трейлер несуществующего фильма на фотоаппарат и там мне навалили ладошку простого советского... На самом деле нет, было очень много интересных комментариев и замечаний, так что я решил выпустить вторую редакцию трейлера. Доснял несколько кадров, какие-то улучшил ну и полностью все перемонтировал.
В общем в начале я вообще сильно хотел расширить ролик и сделать не трейлер, а короткометражку. Задумка была, что героиня на самом деле лежит в операционной и за ее жизнь борются врачи, а то, что мы видим в мире пост апокалипсиса, это у нее в голове. Поэтому решено было доснять кадры как героиня лежит на земле вся в крови, но с каждым следующим кадром ее раны и синяки все меньше, а в конце она вообще полностью чистая аки ангел. Подразумевалось, что пока врачи борются, она в фантазиях тоже постепенно выздоравливает и в конце показываем, как она очнулась на операционном столе.
Так как бюджета на съемку особо нет, то снимать я решил у себя дома. Для начала постелил на пол большую клеенку, потому что смотрел Декстера, потом положил на нее 4 квадратные резиновые панели, такими обычно выкладывают спортзалы или еще какую-то херню, видел такое у барменов, которые бутылками жонглируют. В общем в строительном магазе продается.
Потом насыпал на эти листы песка, у всех же на балконе есть песок да? В общем у меня был, потому что когда-то мне нужно было заделать цементом дыру в стене. Сверху положил раскидал рядом реквизит, вещмешок, мачете и всякое такое, налил везде искусственной крови. Кстати, записывайте рабочий рецепт. 400 грамм сахарной пудры, 200 грамм теплой воды, столовая ложка красного пищевого красителя, чайная ложка зеленого пищевого красителя и чайная ложка какао порошка. Все это заливаем в банку, чтобы было легче перемешивать и вуаля! Из этих пропорций выходит примерно пол литра крови.
Сбоку поставил световой прибор, включил на нем эффект огня и стал снимать.
Снимал со штатива, но потом мне вдруг резко захотелось какой-нибудь динамики и я прицепил к штативу электрический слайдер и хотел чтобы он ездил вверх вниз с камерой и снимал крутой кадр, но оказалось что он работает только в горизонтальном направлении поэтому пришлось поставить на нем ручной режим и просто аккуратно опускать фотик, товарищ в это время держал его за ремешок, чтобы актрисе не разбить лицо, если вдруг вся эта конструкция навернется.
В общем снимали таким образом много кадров, в начале актриса было без грима, потом потихоньку добавляли синяки и кровь и в конце последний кадр вообще кровь кишки распидорасило. Не знаю можно ли вставлять такие кадры, но вот.
В трейлер в итоге вошел только последний кадр, да и вообще идею с больницей никто кроме меня не понял, так что, показав ее нескольким друзьям, я решил от нее отказаться
Еще одна причина, почему я вообще решил переделать трейлер, было сильное развитие нейросетей. И пока они не доросли до скайнета и не разъебали весь мир, я решил использовать их тут и улучшил несколько кадров. В начале я снимал кадр на Mavic Air 1 где героиня просто идет по дороге, тогда я сам нашел картинку кратера от взрыва и вставил его туда, но сейчас решил еще немного добить кадр и с помощью генеративной заливки в фотошопе, приделал туда разрушенные машины, которые валяются вдоль дороги
Второй кадр был тоже с дрона, где героиня видит вдалеке разрушенные здания. В первой версии я тоже нашел какую-то картинку и вставил ее в кадр, но сейчас тоже с помощью той же генеративной заливки запилил туда более футуристичный город, который вручную я не родил бы никогда в жизни.
Финальным этапом был полный перемонтаж и еще я решил добавить закадровый голос. Его я тоже сделал с помощью нейросетей, которые генерируют речь. Выбрал голос Алисии Викандер из фильма Лара Крофт. Вроде бодрячком получилось. Текст старался придумать такой, чтобы было понятно, что вообще происходит хотя бы примерно, а то в прошлый раз мне много писали, что нихуя непонятно, но очень интересно. В общем обязательно жду реакций, комментов, поучений, оскорблений и спасибо за просмотр
