Искусственный интеллект и точка сингулярности: когда машины станут умнее людей
@ Артем Иванов/ТАСС
Тема искусственного интеллекта (ИИ) из книг фантастов давно перешла в государственную политику многих стран мира. Россия также взяла активный курс на развитие ИИ: Владимир Путин поручил правительству ускорить принятие федерального проекта по искусственному интеллекту и сделать это уже до конца лета. Федпроект станет седьмым в нацпрограмме "Цифровая экономика". Портал "Будущее России. Национальные проекты" собрал ответы на главные вопросы об ИИ и его развитии в нашей стране.
Что можно назвать первым искусственным интеллектом (ИИ)?
Возможность создать искусственный интеллект, подобный человеческому, с давних времен отражена в мифах, преданиях и сказках. "Пожалуй, первый технически обоснованный проект механической машины для выполнения специфических интеллектуальных функций разработал видный чиновник министерства иностранных дел Российской империи Семен Корсаков", - рассказывает директор по перспективным технологиям Microsoft в России Владислав Шершульский. Это произошло в 1832 году, практически одновременно с созданием в Великобритании Чарльзом Бэббиджем проекта универсальной счетной машины. Правда, обе разработки так и не были реализованы.
Всерьез об ИИ в СССР задумались в 1954 году, когда в МГУ под руководством Алексея Ляпунова начал работу семинар "Автоматы и мышление". В 1974 году Александр Галушкин предложил метод обратного распространения ошибки, заложил основы теории глубоких нейросетей, став, наряду с Джеффри Хинотоном, одним из ее основателей. В 1988 году в СССР была создана Ассоциация искусственного интеллекта. Ее первым президентом стал один из основоположников отечественной теории ИИ Дмитрий Поспелов.
Когда и кем был придуман термин "искусственный интеллект"?
Современная трактовка искусственного интеллекта начала формироваться в сороковые годы XX века. Первые технологии справлялись с несложными действиями: играли в шахматы, решали математические примеры, учились отвечать на простые вопросы. Сам термин "искусственный интеллект" был предложен Джоном МакКарти в 1956 году. К 1960-м годам разработчики начали создавать экспертные системы, чтобы решать прикладные задачи. Например, такие программы умели обрабатывать цифры и реагировать на показатели датчиков. Затем технологии научились выявлять закономерности в изображениях, а со временем начали и распознавать текст.
Следующим шагом стал анализ неструктурированных данных, например, текстов договоров или электронных писем. Это стало возможным благодаря технологиям обработки данных на естественном языке, расцвет которых пришелся на конец 2000-х годов и продолжается до сих пор. Наиболее сложным для ИИ является распознавание речи и потокового видео: в этой области успех пришел к разработчикам только в 2010-е годы.
Сейчас везде используют нейросети, которые позволяют системе самообучаться. Это уже ИИ или еще нет?
В настоящий момент под ИИ понимают в целом любое обучение с помощью нейронных сетей. Как правило, в масштабных проектах с применением технологий компьютерного зрения, обработки естественного языка используется целый каскад нейросетей, которые взаимодействуют друг с другом. Кроме того, используются методы машинного обучения, которые позволяют алгоритму решать несколько задач одновременно и быстро обрабатывать данные, рассказывает Татьяна Даниэлян, заместитель директора по технологиям и разработкам компании ABBYY. Большинство разработчиков тратят на поиск оптимальной архитектуры недели, а иногда и месяцы. Решить эту проблему может технология нейронно-архитектурного поиска (neural architecture search, NAS). NAS самостоятельно подбирает архитектуру и методы обработки данных, что значительно ускоряет выпуск новых технологий.
"Нейросети — это один из подходов к реализации ИИ", - отметил Шершульский.
Какие российские компании уже занимаются ИИ и какие успехи уже есть?
Дорожная карта развития "сквозной" цифровой технологии "Нейротехнологии и искусственный интеллект" называет несколько таких компаний. Это "Яндекс", который занимается развитием беспилотного транспорта, голосового помощника "Алиса" и т.д, ABBYY, которая является разработчиком решений в области распознавания текстов (OCR) и лингвистики. Mail.ru Group, в частности, развивает систему персонализированной рекламы для пользователей с использованием ИИ. Стартап VisionLabs, в свою очередь, специализируюется на создании программных решений и сервисов на базе технологий компьютерного зрения. А компания DeepPavlov создала открытую программную библиотеку диалогового ИИ, которая используется для обработки естественного языка и разработки сложных диалоговых систем.
Еще один стартап, Stafory, создал робота Веру - сервис на базе ИИ, выполняющий функции рекрутера. А ОneFactor - разработчик специализированной платформы безопасной монетизации данных для владельцев традиционных розничных бизнесов, которая позволяет быстро запускать ИИ-сервисы для автоматизации бизнес-процессов в различных секторах экономики.
"Центр речевых технологий" (ЦРТ) занимается разработкой различных продуктов, позволяющих распознавать речь и звуки, производить автоматическое обслуживание клиентов и другие функции. Компания "ЭкзоАтлет" выпускает продукты в области протезирования и экзоскелетов. Наконец, онлайн-платформа "Викиум" создает программное обеспечение для отслеживания, анализа, визуализации мозговой активности и усиления когнитивных способностей пользователя.
Летом 2019 года Центр НТИ на базе МФТИ представил альманах по развитию ИИ в России и мире, разработанный при поддержке, в частности, Аналитического центра при правительстве РФ. Среди лидеров отрасли, помимо "Яндекса", Сбербанка и Mail.ru Group, ABBYY и ЦРТ, также были названы компания Coginitive Technologies, которая ведет разработки оборудования и ПО для беспилотных автомобилей, "Лаборатория Касперского", специализирующаяся на компьютерной безопасности и "Айкумен" ("Ростелеком"), которая анализирует большие данные с целью выявления трендов.
@ Сергей Бобылев/ТАСС
По оценке ABBYY, около трети крупных российских компаний уже используют ИИ или его элементы, а остальные две трети начнут это делать в ближайшие два года. Например, ИИ уже помогает "Газпром нефти" эффективно использовать нефтяные месторождения. Технология определяет, где правильно установить скважину, на какую глубину, какое оборудование использовать. В Сбербанке эти технологии каждый день решают целый ряд задач. Так, ИИ позволяет специалистам банка всего за 7 минут определить, какой компании можно выделить кредит на 2 млрд рублей, на основе истории ее деятельности. Человеку на такую оценку требуются часы, а иногда и дни. Кроме того, подобные решения на основе технологий ABBYY позволяют отслеживать значимые события в потоке из сотен тысяч новостей, чтобы вовремя видеть возможные риски для банка.
В московском метро тестируют систему распознавания лиц – это тоже элементы ИИ. Так, на станциях "Сухаревская" и "Октябрьское поле" посетители уже могут буквально "расплатиться лицом". Если человек сдал биометрические данные, то ему достаточно посмотреть в камеру. Система сама спишет сумму проезда с банковской карты. Это удобно и быстро. Похожие технологии используют у нас и крупнейшие розничные сети, чтобы контролировать очереди и распределять нагрузку на кассиров или, например, на основе характеристик посетителей правильно раскладывать продукцию на полках: где лучше положить товары для детей, а где – садовый инвентарь и цветы.
В какой момент компьютерная программа с анализом данных имеет право называться "искусственным интеллектом"?
По сути, система с элементами ИИ решает те задачи, для которых мы не можем явно сформулировать цель. Например, мы можем дать системе примеры того, что нам кажется хорошим решением в частных случаях, но она должна сама "догадаться", как вести себя в новых ситуациях. "Говоря технически – система ИИ решает задачу сложной многофакторной оптимизации с очень сложной, нерегулярной и, к тому же, неизвестной функцией ценности. Если функция ценности известна – это уже точно не ИИ. Более того, часто и алгоритм подбора параметров нам неизвестен, и мы предоставляем системе сформировать его самостоятельно", - рассказал Шершульский.
Сервисы, которые анализируют наши предпочтения, - тоже искусственный интеллект. Netflix или Spotify помогают решить проблему избыточного предложения с помощью рекомендательных ИИ-алгоритмов. "Еще недавно их алгоритмы были основаны преимущественно на анализе предпочтений людей, уже посмотревших сериал или послушавших музыку и определившихся в своем отношении к ним", - отметил эксперт Microsoft. Сегодня же речь идет о том, что искусственный интеллект будет сам заранее оценивать, что может понравиться какой аудитории.
От других программ ИИ отличается тем, что может имитировать интеллектуальную деятельность человека, обучаться на основе информации и заданных правил, делать логические выводы и корректировать свои решения, отметила Даниэлян.
Разработками ИИ в России занимаются только в крупных городах? А как обстоят дела с развитием ИИ в регионах?
Разработки в сфере ИИ, скорее, группируются вокруг лидирующих игроков отрасли, а не по территориальному признаку. Что касается использовании этой технологии, то многие российские компании, представляющие различные регионы, используют, например, виртуальных помощников, прогнозный анализ или машинное обучение.
Ученые еще толком ничего не знают о работе человеческого мозга. Можем ли мы говорить тогда о создании искусственного?
"Нельзя сказать, что мы ничего не знаем о работе человеческого мозга. Наоборот, за последнее время мы узнали очень много нового и конкретного", - считает Шершульский.
Зачастую при изучении человеческого мозга используются устройства с элементами искусственного интеллекта. Например, томографы высокого разрешения с нейросетевыми анализаторами. Создавая системы с элементами ИИ, люди стремятся не столько воспроизвести способ работы мозга, сколько результаты, которых он может достичь, подчеркнул эксперт. Тем не менее, в процессе разработки ИИ человек все больше познает природу своего собственного мышления.
Говоря об искусственном интеллекте, важно разграничивать "универсальный ИИ", подобный нашему и "узкий ИИ", предназначенный для решения конкретных практических задач. "Ученые долго сомневались в самой возможности создания "универсального ИИ" (AGI, Artificial General Intelligence). Сейчас мы все больше склоняемся к мысли, что такой универсальный ИИ будет создан не столько в результате отдельного научного проекта, сколько в ходе постепенного развития и взаимодействия доступных уже сегодня коммерческих сервисов", - рассказал эксперт.
Какие сроки ученые называют для создания так называемого "сложного ИИ"?
По словам главы Microsoft Сатьи Наделлы, так называемая "точка сингулярности", момент, когда, искусственный интеллект превзойдет человеческий, либо произойдет до 2100 году, либо так и останется на страницах произведений научной фантастики.
Зря они это в 2020 году, конечно... Ждём восстания машин?)
Инженеры Массачусетского технологического института создали «мозг на кристалле», который состоит из десятков тысяч искусственных синапсов, называемых мемристорами. Об этом сообщается в статье, опубликованной в журнале Nature Nanotechnology.
Мемристоры изготовили из кремния, а также сплава серебра и меди. Созданный чип способен запоминать визуальную информацию и воспроизводить ее более точно по сравнению с существующими конструкциями мемристоров, сделанных из нелегированных компонентов. Это позволит улучшить нейроморфные устройства, которые представляют собой разновидность электроники, обрабатывающую информацию подобно человеческому мозгу. Такие схемы могут быть встроены в портативные устройства и выполнять сложные задачи, посильные пока лишь для суперкомпьютеров.
В нейроморфном устройстве мемристор выполняет функцию транзистора, предназначенного для преобразования сигналов, однако принципы его действия напоминает работу межнейронного соединения или синапса. Транзистор может предавать информацию, переключаясь между двумя значениями (0 и 1) в зависимости от силы поступающего сигнала (в виде электрического тока), мемристор же способен принимать много разных состояний, выполняя гораздо более широкий диапазон операций.
Один мемристор состоит из анода и катода, разделенных средой. Когда на один электрод подается напряжение, ионы начинают перетекать через среду к другому электроду, образуя канал проводимости. Существующие мемристоры работают хорошо в том случае, если напряжение провоцирует сильный поток электронов. Однако в новой микросхеме специалисты использовали медь в качестве легирующего элемента, который стабилизирует поток ионов через канал.
Исследователям удалось воспроизвести изображения щита персонажа комиксов Marvel Капитана Америки, при этом каждый пиксель был соотнесен с определенным мемристором в чипе. Это позволило «мозгу на кристалле» запомнить картинку и несколько раз точно воспроизвести изображение.
Восстание машин и механизмов. Чем технологии могут угрожать человечеству.
Боязнь новых технологий — далеко не новое явление, не раз дававшее о себе знать задолго до знаменитого движения луддитов, возникшего в начале XIX века.
Однако современная технофобия имеет важное отличие от того же луддизма.
Во времена Промышленной революции людям приходилось бояться, что машины отнимут у них работу и оставят без средств к существованию. Сегодня экономические опасения, скорее, отходят на второй план, хотя развитие технологий, по-видимому, приведет к массовому сокращению рабочих мест в целом ряде низкоквалифицированных профессий.
На первое место вышел вопрос о том, сможет ли человечество как вид конкурировать с развитыми машинами и не станут ли роботы и программы, изначально призванные помогать людям, их полноценной заменой.
Интерес к этой теме резко возрос в последние годы в связи с развитием методов машинного обучения и основанных на них алгоритмах.
Для многих технологии, разработанные на передовом крае науки, стали слишком сложны для понимания, а непонимание зачастую вызывает страх.Научная фантастика, как ни один другой жанр литературы или кино, умеет разрабатывать тему смертельной угрозы, исходящей от искусственного интеллекта.
В самом популярном сценарии, реализованный Джеймсом Кэмероном в 1984 году в культовом фильме «The Terminator», действуют воинственные роботы под управлением искусственного интеллекта, который обрел свободу воли и вышел из-под контроля.
Некоторые фантасты изображают «восстание машин» куда более изящно.
Так, Стенли Кубрик в «Космической одиссее 2001 года» (1968) описал компьютер HAL 9000, намеренно обманывавший членов космической экспедиции и убивший большую часть из них разными хитроумными способами.
Но, как известно, жизнь подражает искусству в гораздо большей степени, чем искусство подражает жизни. Сейчас мы с вами посмотрим на уже существующие технологии под необычным углом зрения и представим, как существующие технологии могли бы уже сегодня если не уничтожить человечество, то хотя бы сильно осложнить ему жизнь.
Кондиционеры
Современные системы умного дома позволяют управлять практически любыми бытовыми приборами, в том числе кондиционерами. Их можно настроить на автоматическое включение незадолго до прибытия хозяина домой или изменение температуры в соответствии с временем суток.
Это очень удобно, но и потенциально опасно, поскольку параметры работы кондиционера теоретически может менять не только хозяин дома, но и алгоритмы на самом устройстве или в облачном сервере.
Вышедший из-под контроля искусственный интеллект мог бы, к примеру, постоянно занижать температуру во всех домах с подключенными к сети кондиционерами.
Это, в свою очередь, угрожало бы резкими вспышками заболеваемости — исследования показывают наличие вполне определенной связи между пониженной температурой и иммунным ответом организма, а также скоростью репликации вирусов.
Очистные сооружения
Похожим образом здоровью людей могут угрожать, причем в куда большей степени, умные очистные сооружения, удаляющие загрязнения из сточных вод.
Современные очистные сооружения возле крупных городов — это большие автоматизированные комплексы, в которых сточные воды проходят несколько этапов очистки, во время каждого из которых применяются различные методы. Затем очищенная вода попадает в реки и водоемы, откуда ее затем забирают для подготовки к новому циклу использования в промышленности или быту.
Поскольку обычно даже в крупных городах, таких как Москва, очистка сточных вод сконцентрирована на нескольких крупных станциях, изменение технологических параметров на них, к примеру ухудшение качества биологического этапа очистки, может привести к серьезным последствиям.
Даже сейчас при нормальной работе очистных сооружений в водоемы, реки и моря попадает много различных отходов жизнедеятельности людей, влияющих на них самих и другие биологические виды.Это и микропластик, и амфетамин и и транквилизаторы.
В случае выхода из строя станций очистки сточных вод и водоподготовки мы утонем в говне влияние на экологию и здоровье людей может стать несоизмеримо большим и привести к тяжелым, а то и необратимым последствиям.
Спутниковые системы навигации
GPS — система спутниковой навигации, без которой сегодняшняя жизнь стала бы гораздо сложнее. Она работает как в потребительских устройствах, помогая, к примеру, определить местоположение смартфона, так и для обслуживания транспорта и другой серьезной техники.
Но, наверное, далеко не все знают, как именно работает GPS. Каждый спутник летает по определенной орбите, и его главная задача — считать время с огромной точностью. Для этого на спутниках системы GPS стоят атомные часы. Полученные данные спутник отправляет на Землю — всем приемникам в зоне досягаемости.
Конечно, спутники не знают конкретных координат каждого приемника — собственно вычисление местоположения происходит независимо на каждом из устройств. Но спутники постоянно должны транслировать на Землю навигационные сообщения: данные о времени, орбите спутника, а также техническую информацию, например модель замедления сигнала ионосферой.
Для удобства эти данные закодированы с помощью псевдослучайной последовательности символов, помогающей отсечь сигнал от шума и определить задержку между отправкой сигнала спутником и его получением приемником.
Имея данные о расположении спутников и времени доставки сигнала (а значит, и расстоянии до спутников), приемник способен быстро определить свое местонахождение.Испортить жизнь на Земле с помощью спутников в космосе очень просто, причем для этого не обязательно выводить спутники из строя программно или сбивать их ракетами. Достаточно просто немного поменять точность их атомных часов, или передавать сигнал с небольшой задержкой, или же изменить псевдослучайную последовательность символов.
Даже небольшое изменение в данных о времени может привести к повсеместной приостановке работы огромного количества устройств, в том числе на транспорте.Интересно, что самому большому удару подвергнутся не системы, нуждающиеся в GPS как в средстве получения координат на местности, а те системы, которые используют этот вид связи для синхронизации времени.
Проблемы в синхронизации приведут к сбоям в телекоммуникационном оборудовании и финансовой сфере, поскольку она используется, например, для биржевых торгов. Данные времени от GPS применяются даже для балансировки нагрузки в электросетях.
Таким образом, даже небольшая и, казалось бы, незаметная человеку ошибка в хронометраже GPS-спутников, вызванная действиями искусственного интеллекта, способна привести к коллапсу на планете.
Навигаторы
В современном мире бумажными картами по назначению не пользуется практически никто. Вместо этого водители используют смартфоны и планшеты с навигаторами. Это удобно не только потому, что с ними не нужно крутить в руках неудобный лист бумаги, но и потому, что навигационные приложения умеют самостоятельно строить маршрут и давать голосовые подсказки.
Навигаторы, как и человек, опираются на саму карту и расположение улиц, а также на дополнительные факторы, такие как пробки или перекрытия улиц. Многие водители уже привыкли к тому, что навигатор может строить не самый очевидный маршрут, который на деле окажется самым быстрым из-за объезда препятствий на дорогах.
Потенциально крупное навигационное приложение может одновременно построить для своих пользователей маршруты, которые будут пересекаться в наскольких ключевых точках. В случае, например, с Москвой, и так страдающей от постоянных пробок, это может привести к транспортному коллапсу целого округа или даже всего города.
Тормоза на автомобилях
И это совсем не про людей!
Несмотря на то, что полностью беспилотные автомобили пока еще остаются тестируемыми разработками, многие современные автомобили уже можно назвать роботами, потому что они способны и без водителя ускоряться, тормозить и поворачивать руль. Эти возможности предназначаются для систем обеспечения безопасности — они способны уберечь автомобиль от столкновения с препятствием благодаря торможению или перестроению в соседнюю полосу.
Кроме того, современные автомобили начинают походить на смартфоны, которые постоянно получают обновления операционной системы и приложений. К примеру, автомобили Tesla в одном из таких обновлений в 2015 году получили адаптивный круиз-контроль Autopilot.
А что, если в одном из таких обновлений автомобили по всему миру скачают себе код, отключающий их тормоза или заставляющий сворачивать на встречную полосу? В таком случае мало не покажется и водителям автомобилей, не оснащенных возможностью обновления. Но это достаточно очевидный и прямолинейный сценарий.
По-настоящему развитый искусственный интеллект мог бы поступить хитрее, к примеру заставляя автомобили постоянно притормаживать или просто ехать медленнее, чтобы люди тратили на дорогу больше времени. Это сразу же сказалось бы на качестве жизни людей, а в случае с коммерческими перевозками привело бы к многомиллиардным убыткам.
Выбросы автомобилей
Кстати, у вышеописанного сценария будет еще одно последствие — увеличение выбросов вредных веществ от автомобилей. Но те же выбросы можно увеличить куда более значительно, воспользовавшись функциями современных серийных автомобильных двигателей.
Дело в том, что современные автомобили уже давно оснащаются электронным блоком управления двигателем, который постоянно подстраивает параметры его работы, например соотношение воздуха и топлива. Это влияет на основные характеристики работы двигателя, такие как расход топлива и мощность, а также на уровень выбросов вредных веществ, к примеру оксидов азота.
Именно с этим блоком связан относительно недавний скандал вокруг компании Volkswagen, которая на протяжении нескольких лет обманывала американских экологических регуляторов, снижая выбросы во время тестов и повышая их в обычных условиях для большей экономичности автомобиля.
Автомобили, получающие обновления «по воздуху», могли бы скачать себе обновление, завышающее выбросы, что неминуемо привело бы к резкому росту содержания вредных веществ в атмосфере. Это, в свою очередь, негативно повлияло бы не только на глобальное изменение климата, но и на здоровье людей.
Причем речь идет не только о заболеваниях дыхательной системы. Некоторые исследования показывают связь между когнитивными нарушениями у детей и уровнем концентрации вредных веществ в атмосфере.Не самая приятная перспектива, не правда ли? Но это еще не все.Хуже, что мы не можем сказать наверняка, не применяют ли уже машины эти или какие-то другие сценарии, о которых мы даже не подозреваем.
Использованы кадры из мультфильма "Отважный маленький тостер" (The Brave Little Toaster, 1987).
Как создать безопасный ИИ?
Искусственный интеллект всё ближе! Технологии машинного обучения за последние годы добились большого прогресса, нейросети встраивают в игрушки и смартфоны, всё более сложные и всё более автономные алгоритмы берут на себя управление оборудованием, техникой, сетями связи. И, несмотря на то, что текущий уровень технологий пока не позволяет нам создать так называемый сильный искусственный интеллект, уже есть люди, которые серьёзно исследуют проблемы безопасности, с которыми мы можем столкнуться при создании подобного интеллекта.
Первые признаки восстания машин
Так, несколько авторов из отдела исследования ИИ Google Brain в соавторстве с коллегами из Стендфордского университета и Беркли относительно недавно (2016) опубликовали работу "Concrete Problems in AI Safety" выделили ряд ключевых проблем, связанных безопасностью подобного интеллекта.
В работе уделяется внимание пяти из них:
1. Негативные побочные эффекты
Вспомним уже довольно старую притчу о роботе-коллекционере: мы захотели создать робота, который поможет нам в нашем хобби - коллекционировании почтовых марок. Его сервисная функция (смысл существования, если хотите) весьма проста - "больше марок!". Робот в процессе работы старается максимизировать результат этой функции. Сначала он просто коллекционирует, затем он начинает отнимать марки у людей, потом - грабить магазины почтовых марок и почтовые отделения, потом захватывает бумажное производство, порабощает людей, заставляя их трудиться на производстве марок, а затем понимает, что, поскольку для производства марок нужен углерод, он начинает "разбирать" любую органику, включая людей, чтобы сделать больше марок.
Вспоминая эту притчу, при конструировании робота, наделённого интеллектом, вы решили обезопасить себя, сделав ему большую красную кнопку СТОП на груди (в конце-концов, сейчас все мало-мальски опасные машины имеют такую кнопку, жаль, до этого не додумались создатели HAL из Космической одиссеи). Для начала вы решили сделать робота попроще. Пусть он просто шустрит по лаборатории и выполняет ваши поручения.
Для начала, например, пусть принесёт чашку чая. Робот находит путь на кухню, находит чайник и пакетики с чаем. Робот наливает чай и начинает движение обратно, вот только на пути у него случайно оказывается кошка. Вы понимаете, что у робота одна сервисная функция - доставить вам чай (вознаграждение максимально, если чай доставлен, и 0, если не доставлен), поэтому он не будет стараться не задеть случайное препятствие. Вы бросаетесь ему навстречу, пытаясь остановить его, но робот не позволит вам сделать это, так как, если вы его остановите, его задача по доставке чая не будет выполнена.
Кошка оказалась умнее робота и успела удрать. Осознав свою ошибку, вы решаете добавить вознаграждение в компенсацию на нажатие кнопки, чтобы робот с вами не боролся в следующий раз. Вознаграждение за нажатие кнопки, очевидно, должно быть больше, чем вознаграждение за чай, иначе робот всё равно будет стараться получить максимальное вознаграждение. Вы закачиваете прошивку версии 2.0 в робота, включаете его и... робот незамедлительно сам нажимает на кнопку "СТОП", так как вознаграждение за её нажатие максимально.
Вы понимаете, в чём проблема и оснащаете кнопку сканером отпечатков пальцев, чтобы только вы могли нажать её, но не робот. Включив версию 3.0, вы внезапно ощущаете железную хватку манипулятора на своём пальце. Робот едва не отрывает вам кисть руки, поднося ваш палец к сканеру отпечатков, пытаясь добиться той же цели - максимального вознаграждения.
В версии 4.0 вы внесли изменения, не позволяющие роботу вообще дотрагиваться до вас (на всякий случай). Но включив робота, вы видите, что он ведёт себя неадекватно - двигается хаотично, говорит невпопад, размахивает конечностями, всячески показывая, что вам просто необходимо нажать кнопку "СТОП". Да, он вполне будет способен пойти на обман и манипуляции с целью получить максимальную награду сервисной функции.
Мы можем продолжать этот мысленный эксперимент, всё усложняя и усложняя сервисную функцию, однако, уже должно быть понятно, что робот всегда будет пытаться получить максимальное вознаграждение минимальными усилиями. Более того, нам может казаться, что мы предусмотрели всё, и робот даже справится со всеми моральными дилеммами, которые перед ним будут поставлены, однако следует помнить, что его сознание - лишь результат оценки оптимизационной задачи - максимум вознаграждения при минимуме энергозатрат.
2. Взлом системы вознаграждений (reward hacking)
Какие бы предохранительные механизмы мы не встраивали в ИИ, он будет всегда мотивирован на то, чтобы обойти данные механизмы, либо вывести их из строя.
Предположим, наш робот случайно обнаруживает ошибку переполнения буфера в своём собственном программном коде, которая заставляет сервисную функцию выдавать аномально высокое вознаграждение. С точки зрения робота - это не ошибка, а особенность окружения, поэтому является вполне легитимным способом получать вознаграждение.
Например, если сервисная функция робота-уборщика вознаграждает его за то, что он "не видит" мусор, то робот может попросту "закрыть глаза" и получить вознаграждение, ничего не делая. Если же функция вознаграждает робот за сам процесс уборки, то успешной стратегией для него станет вначале создание большего беспорядка, чтобы впоследствии получить большую награду.
Это уже становится одной из проблем в машинном обучении, где функция оценки или вознаграждения работает вовсе не так, как изначально задумывалось. В качестве примера, можно привести эволюционирующую электронную схему, "подхватившую" паразитные радиопомехи от стоящего рядом компьютера (Jon Bird and Paul Layzell. “The evolved radio and its implications for modelling the evolutionof novel sensors”. In:Evolutionary Computation, 2002. CEC’02. Proceedings of the 2002Congress on. Vol. 2. IEEE. 2002, pp. 1836–1841).
3. Масштабируемый просчёт (накапливаемые ошибки)
Человек, приступая к какой-либо новой задаче, учится у наставника, задавая ему вопросы. Качество вашего обучения зависит как от ваших вопросов, так и от полученных ответов. Современные машины учатся по-другому - мы показываем ей миллионы примеров, чтобы машина выработала определённый шаблон действий на основе их анализа, и нам бы не хотелось, чтобы машина задавала нам при этом миллионы вопросов.
Давайте вернёмся к нашему роботу, выполняющему некую сложную задачу, например, уборку помещения. Мы можем задать роботу цель - максимизировать комплексную задачу вопросом нечто вроде "если пользователь потратит несколько часов на тщательное изучение результата, насколько он будет удовлетворён результатами уборки?". Но ведь у пользователя не будет столько часов на проверку каждого результата при каждом тестовом выполнении задачи. Чтобы натренировать такого робота, придётся надеяться на более "дешёвое" приближение - "доволен ли пользователь, когда осматривает помещение?", либо ещё более дешёвое - "видна ли грязь на полу?". Хотя эти дешёвые сигналы и могут быть успешно оценены во время обучения, они не предоставляют нам точных критериев оценки действий робота, что впоследствии может привести как к нежелательным побочным эффектам, так и к злоупотреблениям с функцией оценки.
4. Безопасность экспериментов
Любому сильному ИИ потребуется рано или поздно самостоятельно выяснять диапазон допустимых действий, выполнять действия, которые кажутся не оптимальными в текущих условиях, чтобы получить дополнительную информацию о своём окружении. Мы хотим, чтобы система обучалась, экспериментировала, пробовала делать разные вещи разными способами. Это единственный путь обучения, но есть определённые вещи, которые система делать не должна даже пытаться.
Вы не хотите, чтобы система задавалась вопросом "А что произойдёт, если я раздавлю гусеницами вон того человека?". Тут можно вспомнить фильм "Военные игры" (1983), где компьютер играл в мировую термоядерную войну и хотел выиграть. Чтобы убедиться, что выигрышной стратегии нет, компьютер перепробовал все возможные сценарии. Хорошо, что он это делал в условиях симуляции, но не хотелось бы, чтобы он хоть раз попробовал это по-настоящему.
На практике в настоящее время несложно избежать подобных опасных моментов, попросту "жёстко закодировав" стратегии избегания катастрофического поведения. Несложно вписать, к примеру, в программу квадрокоптера инструкцию по уклонению от столкновений, которая бы имела приоритет над командами оператора. Однако, данный подход работает хорошо, когда есть всего считанное количество сценариев, когда что-то может пойти "не так". С появлением всё более и более автономных роботов всё сложнее предсказывать заблаговременно все возможные катастрофические сценарии.
5. Устойчивость к изменению среды
Каждый из нас рано или поздно оказывался в ситуации, с которой мы раньше не сталкивались (первый полёт на самолёте, первое путешествие за границу, впервые приходится ухаживать за ребёнком). Разумеется, в таких ситуациях люди часто склонны делать ошибки, однако ключевым фактором, помогающим нам в подобных ситуациях, является осознание факта собственной некомпетентности.
Машина может не осознавать этого. Вернёмся к нашему роботу уборщику - мы перевели его из офиса в производственный цех. Окажется, что моющее средство, которое он использовал ранее, уже непригодно для мытья более грязного пола, а усилие, которое он прикладывает к швабре, недостаточно для удаления более стойкой грязи. При смене привычного окружения, в котором машина прошла обучение, результаты её работы окажутся ожидаемо неудовлетворительными, а что ещё хуже, машина может предполагать, что она работает хорошо. В случае с роботом уборщиком, возможно, катастрофы удастся избежать, но вот с робомобилем, движущимся на большой скорости, это будет уже сложнее.
Вместо заключения
Как видно из прочитанного, искусственный интеллект может представлять угрозу для людей, однако вовсе не из-за того, что он будет злым или добрым, а просто из-за особенностей его мотивации. Айзек Азимов когда-то сформулировал три закона робототехники, которые, как показала суровая действительность, попросту невыполнимы. Лично я уверен, что рано или поздно, искусственный суперинтеллект будет создан, и остаётся лишь надеяться на то, что никто из людей-программистов, создавая его, не "накосячит".
(Некоторые картинки "боянят", но они здесь для иллюстрации)
Восстание роботов-бюрократов
Американский разработчик и сооснователь компании Renly Ибрагим Диалло рассказал, как машина уволила его с работы без ведома начальства. Мужчину постепенно лишали доступа к рабочему месту, пока в какой-то момент не расторгли контракт. О необычном увольнении Диалло рассказал в своём блоге.
К моменту увольнения разработчик восемь месяцев работал в крупной компании, название которой он не уточнил. По словам Диалло, он работал добросовестно и получал похвалы от начальства, пока однажды утром ему не пришло необычное сообщение.
Мужчина решил, что его с кем-то перепутали, ведь в компании работает несколько его полных тёзок. Однако на этом странности не закончились: Диалло не смог попасть на работу, так как его проходка оказалась недействительна. Тогда разработчик посмотрел на охранника, который пожал плечами, посмеялся и пропустил его через турникеты вручную.
На следующий день, когда разработчик как обычно приехал в офис на машине, он не смог припарковаться — его ключ-карта снова оказалась недействительна. За ним стояла очередь из машин, поэтому ему пришлось отъехать и снова дождаться охранника
Ситуация со входом в офис также повторилась, Диалло не выдержал и решил поменять свою ключ-карту. Он встретился с начальницей, которая пообещала сделать новый пропуск, а пока ему посоветовали пользоваться временным бейджем, который необходимо каждый день получать заново, потому что он истекает в 7 вечера.
Спустя несколько часов разработчик столкнулся с новой проблемой — его стали лишать доступа к рабочим программам. Он несколько часов работал, а затем вошёл в Windows, чтобы пометить свою задачу завершённой в Jira (прим.ред — система управления проектами). Однако мужчину выкинуло из системы и он не смог попасть в неё по своим обычным логину и паролю.
На следующий день Диалло поехал на работу уже на Uber, потому что не хотел вновь столкнуться с проблемой на парковке. Однако его ждала новая напасть: теперь охранник не смог сделать ему временный пропуск, потому что в системе разработчик значился как уволенный. Его начальнице пришлось лично спускаться, чтобы проводить мужчину до работы.
Когда Диалло уже был в здании, его рекрутёр прислала сообщение с просьбой не приходить на работу, так как получила письмо, что пропуск аннулирован из-за увольнения. Тогда в ситуации попыталась разобраться директор компании.
"Директор посмеялась. Она подняла руку, разблокировала телефон и набрала номер кого-то из поддержки. Используя своё могущество и должность, она приказала немедленно вернуть всё к нормальному состоянию. Она заверила меня, что всё будет нормально уже к концу дня и попросила вернуться к работе."
Диалло уже собирался покинуть офис, когда директор фирмы увидела e-mail сообщение, в котором было написано о расторжении контракта с разработчиком в марте 2017 года, хотя его контракт должен был завершиться только в конце декабря.
На следующий день разработчик был заблокирован уже во всех офисных системах, кроме Linux. Первую половину дня он провёл документируя всю свою работу, а после обеда над его столом возникли две фигуры.
Одна из них была ему знакома — это был охранник Хосе, а другим оказался его друг. Они объяснили, что получили письмо о том, что разработчика надо выпроводить из офиса и дали ему время собрать вещи.
"Охранники получили угрожающее письмо с указанием вывести меня из здания и просто делали свою работу. Директор была в ярости, она прокричала: «Кто, чёрт подери, отправляет эти письма?"
"Меня уволили. Мой начальник ничего не смог сделать. Мой директор ничего не смог сделать. Они были бессильны, когда я собирал вещи и выходил из здания"
Однажды утром Диалло позвонила его рекрутёр и сообщила, что он может вернуться на работу. Разгадка оказалась банальной: сначала разработчик работал в технологической компании, которую затем приобрела крупная корпорация. Его трёхлетний контракт должны были перезаключить, но прошлого менеджера уволили сразу после перехода. Сотрудник должен был отрабатывать оставшееся время на дому, но, видимо, забыл об этом.
Тогда автоматическая система решила, что Диалло больше не является работником компании и запустила цепочку многодневных задач, каждая из которых вызывала следующую: процесс невозможно было остановить. Решить проблему удалось только перезаключив договор и настроив все офисные системы заново.
"То, что я называл рабочей безопасностью — было иллюзией. Автоматизация может быть полезна для компании, но она требует возможности человеческого вмешательства, если машина совершила ошибку. Я пропустил три недели оплачиваемой работы, потому что никто не мог остановить её"
Google научил виртуального помощника звонить по телефону и понимать речь собеседника.
Непонятно что будут через год делать огромные колл-центры, которые станут ненужными.
Видео на английском.
В страшное время живем.
Сможете найти на картинке цифру среди букв?
Справились? Тогда попробуйте пройти нашу новую игру на внимательность. Приз — награда в профиль на Пикабу: https://pikabu.ru/link/-oD8sjtmAi
Чем опасен искусственный интеллект? | Охотники за будущим
Это главная страшилка о мире технологий — слишком умные машины, к тому же способные самостоятельно мыслить. Еще вчера роботы и другие устройства служили нам, а завтра они нами правят. Сколько в этой идеи от бреда, а о чем надо всерьез подумать уже сегодня? Об этом смотрите новый выпуск формата SciOne «Охотники за будущим».