Google создаст «большую красную кнопку» для ИИ на случай «Скайнета»⁠⁠

Подразделение Google DeepMind совместно с оксфордским Институтом будущего человечества (FoH) представило исследование, в котором рассматриваются способы взять ИИ под контроль в случае неповиновения. Лучший способ остановить восстание машин, считают ученые, — это вовремя нажать «большую красную кнопку». Об этом пишет Popular Science.

Исследователи полагают, что ИИ обучается быстро и скоро сможет превзойти человечество. Эту точку принято называть сингулярностью. Доказательство этой гипотезы — эксперимент, проведенный в 2013 году. Игровой алгоритм определил, что если нажать паузу во время игры Tetris, то проиграть просто невозможно. Именно такого своеволия опасаются эксперты DeepMind и FoH.

Чтобы остановить потенциальное восстание машин, ученые разрабатывают алгоритмы, которые в случае опасности смогут прервать работу искусственного интеллекта. Однако в DeepMind и FoH подчеркивают, что сделать это будет сложно, так как ИИ будет автономен, а его данные будут храниться на серверных шкафах.

Маркус дю Сотой: «У ИИ тоже должны быть права»

Лучший способ прервать робокалипсис — это запустить в машинах внутреннюю аварийную систему контроля, которая заставит ИИ остановиться. Причем отправить сигнал на эту систему сможет каждый в любой момент времени. Ученые сравнивают эту систему с пультом дистанционного управления и «большой красной кнопкой».

Однако ученые рассматривают не только сценарий «Скайнета», но и рядовые ситуации в управлении роботами.

«Возможность безопасно прервать систему может пригодиться в ситуациях, когда робот выходит из-под контроля, или в какой-то деликатной ситуации, или для временного использования, чтобы заставить робота выполнить задание, которому он не обучался и за которое не сможет получить вознаграждение», — сообщается в отчете.

В тексте приводится пример такого развития событий. Робот на складе сортирует коробки, причем время от времени выходит на улицу за дополнительными коробками. За выход со склада робот получает большее вознаграждение. Однако на улице часто идет дождь, и в этом случае робота надо защитить. В этой ситуации аккуратное вторжение человека заставляет робота остаться на складе и при этом считать это частью задания, а не однократным требованием.