Вообще, законы робототехники должны быть прошиты на уровне харда, а не софта, иначе ебанина какая-то получается)
Если следовать первому же "Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинён вред" то фильм матрица справился идеально: человек сидит в банке, не жрет гадости, не делает глупости, не влипает в неприятности. Машины сделали идеальный мир где кожаные мешки не могут причинить себе вред, следуя этой доктрине роботы должны отнимать сигареты, разбивать солонки и сахарницы, не допускать хоть сколько-нибудь опасных видов спорта и тд.
Не говоря уже о том что понимать под понятием "вред" - после занятия спортом к примеру человек может испытывать боль, усталость -вот вам вред в чистом виде, бессмысленная потеря калорий. Проблема не в том что бы прошить эти законы, а в том что люди в принципе готовы приплачивать за то что бы попасть в неприятности.
Вот программисты дураки: оставляют дыры в приложениях, чтобы хакеры могли его взломать. А надо всего лишь перестать оставлять дыры!
*Тихие всхлипы бэкэнд разраба*
Для справедливости иногда действительно оставляют. Это называется бекдор. Доступ к приложениям и ПО.
В промышленности есть системы ПАЗ. Эта программа вертится на отдельном ПЛК, имеет свои сенсоры и органы управления.
Т.е. обычная автоматика занимается реализацией заданных алгоритмов для получения готового продукта. ПАЗ отключает отдельные механизмы или целые РП, закрывает задвижки, включает вытяжку и пр. при первых признаках пиздеца.
Что делать, если в алгоритмах этой автоматики обнаружена ошибка? Например, при определённой нестандартной последовательности действий она не может правильно среагировать.
Выдернуть шнур, выдавить стекло. Как правило возле механизма есть стоповая кнопка в виде грибка и в зависимости от степени опасности объекта этот грибок может рвать силовые цепи напрямую на пускорегулирующей аппаратуре или опосредованно через ПЛК.
Если вопрос про контур управления, то нормальные программеры стараются прохлопать все возможные матрицы состояний. Математика сложнее ПИД регулятора и сглаживающего фильтра встречается довольно редко.
Если про контур ПАЗ - там программа пишется максимально просто, логика обычно спускается с проектного института и вероятность ошибки мала.
На опасном производстве стоит боятся не того что в программе ошибка, а того что какой-нибудь мудак воткнул спичку в реле или надел гандон на датчик, а то защитная автоматика его заебала и работать не дает.
нормальные программеры стараются прохлопать все возможные матрицы состояний
Вот кстати интересно, в АСУ ТП матрицу состояний «прохлопывают» вручную?
Не знаю какие практики вообще есть.
По своему опыту. Для модуля механизма протыкивал вручную. Вход отвязываешь от физики и подаешь все возможные конфигурации состояний на вход.
Для отработки алгоритма запуска/остановки/взаимодействия цепочки механизмов делал отдельный блок с минимальной реализации логики (пришла команда включить - включился с паузой, команда стоп - остановился с паузой, авария - остановился и т.п.) Потом этот блок множится и подвязывается вместо физических входов для механизмов в программе.
Ну вообще в программировании изобрели покрытие тестами, которое отследит, если какая-то часть логики не участвовала в тестах. Это не даёт стопроцентную гарантию. Для такого есть системы строгого доказательства валидности.
Пффф - легко! Просто вбиваешь заранее математически рассчитанные допуски и ограничения по скорости и силе движения/нажатия/сгибания и т.д. и т.п., а далее всё это регулируется алгоритмами без возможности их обойти или игнорировать. Можно ввести стоп-сигналы на определенные раздражители - тут не надо никакого интеллекта, подобные механизмы встречаются у самых простейших одноклеточных. Естественно структурно должно быть невозможно изменить эту прошивку без стороннего прямого подключения, таким образом всё это будет играть роль "подсознания", а вот всякие поведенческие признаки, имитация поведения, характера и другие проявления "личности" будут уже сверху в виде ОС - условно как винда поверх биоса.
P.S.; сейчас подумал и вспомнил умную мыслю которая уже много лет назад приходила в мою голову, а именно зачем создавать бытовых роботов способными чисто физически причинить вред человеку? ну то есть вот зачем секс кукле или домохозяйке такой физический потенциал что бы быть сильнее взрослого человека? пусть она может работать с своим весом максимум, а иметь возможность поднимать вес или прилагать усилия в тонну таким машинам просто не нужны. Ну таким образом приходим к мысли, что условные поршни или сервомышцы или что там у них будет, для движения и работы не должны обладать избыточной силой - только на ту работу для которой предназначен робот. Этож не грузчик, не строитель и не боевой дрон!
Во первых, унивесализация. Ну зачем отдельно иметь секс - домоработницу, и силового работника? И скажу по секрету, некоторые самки человека имеют достаточную силу чтобы убить человека. Проблема решается воспитанием, именно воспитанием ИИ и предоставлением ему всех прав азумного.


Комиксы
71.5K поста44.3K подписчик
Правила сообщества
1. Никаких глупых срачей. Переводчик может ошибиться. Скажите, где он ошибся и как надо перевести лучше. Не надо материть или угрожать человеку за ошибку. Это приведет к пермабану.
2. Порой вы можете увидеть ссылку на взятый комикс или ватермарку. Чаще всего это делают те люди, которые рисуют и переводят комиксы постоянно и хотят отметить свою работу. Не ругайтесь, пожалуйста. Напоминаем, что за ложный вызов модератора полагается наказание.
3. По возможности добавляйте ссылки на достоверный источник перевода и на оригинал комикса.