Скайнет близко?7
Ведущие разработчики искусственного интеллекта объединились, чтобы предупредить человечество о том, что ИИ учится скрывать свои истинные цели, и скоро мы не сможем это отслеживать.
Более сорока ученых из конкурирующих контор подписались под одной статьёй. Прикреплю её пдфкой к посту (осторожно, эльфийский). Если коротко, помните, в нейронках есть такая опция "показывать рассуждения"? Когда она включена, то мы можем прочитать, каким путём нейра пришла к тому ответу, который она в итоге выдаст. Иногда, когда бот делал что-то не совсем одобряемое, его можно было поймать на этапе этих рассуждений. Но последние исследования показали, что когда ИИ использует в качестве подсказок неоднозначную информацию, оно признается в ее использовании в среднем лишь в одном из четырех случаев. В трёх остальных - врёт и выкручивается, не признаваясь, как мыслил реально. А учитывая, что нейронки постепенно отходят от использования человеческих языков в рассуждениях и вырабатывают свои, основанные на сокращениях и непрерывных математических пространствах (чтобы это ни значило), тоооо...
...то это значит, что совсем скоро мы не сможем узнать, как рассуждал ИИ, выдав нам этот ответ, какие реальные цели он преследовал и чем руководствовался. Хороших новостей нет. Ученые разрабатывают систему мониторинга мыслительной деятельности нейронок, но некоторые исследования показывают, что она уже работает не так эффективно. И как говорят авторы исследования, окно возможностей наблюдения за мыслями ИИ закрывается быстрее, чем они рассчитывали.
Автор - Виолетта Хайдарова
Подписывайтесь, чтобы не пропустить новые посты!
Наука | Научпоп
9.4K поста82.8K подписчиков
Правила сообщества
Основные условия публикации
- Посты должны иметь отношение к науке, актуальным открытиям или жизни научного сообщества и содержать ссылки на авторитетный источник.
- Посты должны по возможности избегать кликбейта и броских фраз, вводящих в заблуждение.
- Научные статьи должны сопровождаться описанием исследования, доступным на популярном уровне. Слишком профессиональный материал может быть отклонён.
- Видеоматериалы должны иметь описание.
- Названия должны отражать суть исследования.
- Если пост содержит материал, оригинал которого написан или снят на иностранном языке, русская версия должна содержать все основные положения.
- Посты-ответы также должны самостоятельно (без привязки к оригинальному посту) удовлетворять всем вышеперечисленным условиям.
Не принимаются к публикации
- Точные или урезанные копии журнальных и газетных статей. Посты о последних достижениях науки должны содержать ваш разъясняющий комментарий или представлять обзоры нескольких статей.
- Юмористические посты, представляющие также точные и урезанные копии из популярных источников, цитаты сборников. Научный юмор приветствуется, но должен публиковаться большими порциями, а не набивать рейтинг единичными цитатами огромного сборника.
- Посты с вопросами околонаучного, но базового уровня, просьбы о помощи в решении задач и проведении исследований отправляются в общую ленту. По возможности модерация сообщества даст свой ответ.
Наказывается баном
- Оскорбления, выраженные лично пользователю или категории пользователей.
- Попытки использовать сообщество для рекламы.
- Фальсификация фактов.
- Многократные попытки публикации материалов, не удовлетворяющих правилам.
- Троллинг, флейм.
- Нарушение правил сайта в целом.
Окончательное решение по соответствию поста или комментария правилам принимается модерацией сообщества. Просьбы о разбане и жалобы на модерацию принимает администратор сообщества. Жалобы на администратора принимает и общество Пикабу.