Ответ на пост «Проблема согласования ИИ»⁠⁠1

По-моему, проблема достаточно надуманная. Для себя я это отметил еще, когда смотрел ALI. Для корректной работы ИИ просто необходимо четко выстроить сначала критерии, а потом и систему поощрения/наказания за действия. И задачи ставить тоже конкретно. Прямые указания, запреты оператора для ИИ должны в оперативной работе иметь наивысший приоритет. Эти ограничения должны иметь настолько значимый удельный вес, что никакие поощрения от оперативной деятельности ИИ не могли бы их перевесить ни при каких условиях. Выше только ограничения по типу законов робототехники Азимова. То есть, к примеру, не произвести максимум шурупов, а произвести определенное кол-во шурупов. Либо произвести максимум при наличии определенного кол-ва сырья и энергии. Это похожим образом работает и у людей. Постановка неопределенной задачи перед человеком по принципу "...пойди туда - не знаю куда, сделай то - не знаю что...", приводит к непредсказуемому результату.