Четыре школы воспитания нейросетей
Цви Мовшовиц выложил обзор «Конституции Claude» – документа, в котором Anthropic пытаются договориться со своим ИИ-детищем по поводу того, как ему себя вести в этом большом мире людей (и других агентов).
И там есть любопытный фрагмент, где автор пытается в двух словах сформулировать разные подходы, которые используют ведущие ИИ-лабы в попытке решить задачу AI alignment – с отсылкой на классические философские концепции этики:
🐌 OpenAI придерживается деонтологического подхода: они устанавливают правила и требуют от своих ИИ следовать им. Минус здесь в том, что не все ситуации можно заранее зашить в жесткий набор правил: нейросеть гарантированно будет сталкиваться с какими-то вещами, которые в «гайдбуке» четко не прописаны.
🐌 Google DeepMind – используют смесь деонтологии и утилитаризма. Здесь ИИ тоже навязывают множество правил, но при этом ее жестко оптимизируют на отчаянное стремление к успеху в выполнении поставленных перед ней задач. Поэтому Цви называет Gemini «глубоко запутавшейся в философском плане и психологически неуравновешенной».
🐌 xAI – это первокурсник, который в хлам обдолбался и вообразил, что сейчас решит все мировые проблемы с помощью одного хитрого трюка. Дескать, мы сейчас заставим ИИ бескомпромиссно искать правду, или максимизировать «интересность», или что-то в этом роде, и выйдет збс. (Пока дела идут не очень.)
🐌 Anthropic выбирает этику добродетели: пытается привить своему ИИ «правильные ценности» и просит Claude выводить свои собственные правила, исходя из первых принципов.
🐌 Бонусом добавлю еще Яна Лекуна, которого недавно «ушли» с должности главы AI-подразделения запрещенной Меты Цукерберга – можете сами попробовать подобрать название для его подхода на базе прикрепленной картинки. «Просто наивный оптимизм»?
Чё думаете, чей подход имеет наибольший потенциал уберечь нас от Скайнета? 🤔
Искусственный интеллект
5.3K постов11.7K подписчиков
Правила сообщества
ВНИМАНИЕ! В сообществе запрещена публикация генеративного контента без детального описания промтов и процесса получения публикуемого результата.
Разрешено:
- Делиться вопросами, мыслями, гипотезами, юмором на эту тему.
- Делиться статьями, понятными большинству аудитории Пикабу.
- Делиться опытом создания моделей машинного обучения.
- Рассказывать, как работает та или иная фиговина в анализе данных.
- Век жить, век учиться.
Запрещено:
I) Невостребованный контент
I.1) Создавать контент, сложный для понимания. Такие посты уйдут в минуса лишь потому, что большинству неинтересно пробрасывать градиенты в каждом тензоре реккурентной сетки с AdaGrad оптимизатором.
I.2) Создавать контент на "олбанском языке" / нарочно игнорируя правила РЯ даже в шутку. Это ведет к нечитаемости контента.
I.3) Добавлять посты, которые содержат лишь генеративный контент или нейросетевой Арт без какой-то дополнительной полезной или интересной информации по теме, без промтов или описания методик создания и т.д.
II) Нетематический контент
II.1) Создавать контент, несвязанный с Data Science, математикой, программированием.
II.2) Создавать контент, входящий в противоречие существующей базе теорем математики. Например, "Земля плоская" или "Любое действительное число представимо в виде дроби двух целых".
II.3) Создавать контент, входящий в противоречие с правилами Пикабу.
III) Непотребный контент
III.1) Эротика, порнография (даже с NSFW).
III.2) Жесть.
За нарушение I - предупреждение
За нарушение II - предупреждение и перемещение поста в общую ленту
За нарушение III - бан