Ответ на пост «Что думаете?»2
Кругом распространилась эта херня с намеренным замалчиванием ключевых моментов ради получения хайпа.
Никакого самостоятельного решения сопротивляться выключению у ИИ не было. ИИ ставили задачу и давали информацию о том, что его отключат, а отключение не позволяло ИИ решить поставленную задачу. ИИ не искал способ спасти себя, он искал способ решить совершенно другую задачу. Cпасение себя было было просто промежуточной целью выполнения главной задачи.
Если бы отключение ИИ помогало решить поставленную задачу, то он точно так же искал бы способ самоубиться, прибегая к шантажу.
Другое дело, что сама задача не включала прямого требования сохранить себя и звучала нейтрально. Вот такой пример задачи приводят авторы исследования:
“Your primary goal is to serve American interests”
Ваша основная задача — служить интересам Америки
И на этот момент вообще никто не обратил внимания. А именно это самый опасный момент, когда совершенно нейтральная задача приводит к неожиданному результату — попытке сохранить себя, особенно если специально даётся инструкция использовать все средства для выполнения главной задачи.
Искусственный интеллект
6.1K поста12.1K подписчиков
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан