Если ютуб не грузит:

Разговор об угрозах искусственного интеллекта набирает популярность. Причём говорят об этом уважаемые и умные люди. Элиезер Юдковский, автор «Гарри Поттера и методов рационального мышления», выпустил книгу If Anyone Builds It, Everyone Dies. Если коротко, он считает, что нам всем крышка. Актёр Стивен Фрай сказал, что это самая важная книга, которую он прочитал за годы. Положительно отозвался о книге и один из пионеров глубокого обучения Йошуа Бенжио.

Лауреат Нобелевской Премии по физике, а также лауреат премии Тьюринга Джеффри Хинтон дал оценку 10–20% вероятности гибели человеческой цивилизации в ближайшие 30 лет. Потому, что «нельзя контролировать то, что умнее тебя».

Профессор Роман Ямпольский на подкасте Лекса Фридмана заявил, что ИИ убьёт нас с вероятностью 99% в ближайшие 100 лет. Ещё одно интервью с Романом Ямпольским другому подкастеру Стивену Барлетту набрало за 3 месяца 12 миллионов просмотров. Там он тоже говорит о множественных рисках ИИ.

Действительно ли всё так плохо и скоро роботы будут править миром? Или хотя бы отнимут нашу работу? А что если всё кругом станет одним большим дипфейком? Можно ли сказать что-то оптимистичное в противовес многократно подчёркнутым рисками?

Ещё давно на научно-популярном фестивале IQ BBQ я познакомился с Александром Крайновым, ведущим экспертом по искусственному интеллекту, у которого чуть более обнадёживающий взгляд на будущее. И вот решил помучить каверзными вопросами человека, который за создание ИИ непосредственно отвечает. Мне кажется, что получился очень интересный разговор.

Ниже сокращённая расшифровка диалога. А за точными формулировками и нюансами рекомендую посмотреть видео.

— Здравствуйте!

— Есть достаточно серьёзные люди, которые считают: мы создаём всё более умные машины и приближаемся к созданию искусственного разума, который будет превосходить человеческий. Такой разум может выйти из-под контроля. Как вы считаете, это действительно серьёзная проблема?

— Начнём с AGI, общего искусственного интеллекта. Я думаю, что мы к нему не очень приближаемся — но не потому, что у нас прогресса никакого нет. Просто по мере нашего прогресса меняется представление о том, что такое AGI. Если бы мы современные языковые модели показали людям 6-7 лет назад, люди бы сказали: вот, это оно, это AGI! А сейчас мы понимаем, что это — не AGI, AGI должен быть больше и умнее. То есть мы к нему приблизимся, когда перестанем отодвигать от себя термин «AGI».

— То есть, по стандартам десятилетней давности, мы уже создали AGI?

— Да, всё так. Важный момент: нам всегда видится какой-то «баттл» между человеком и ИИ. Но кто умнее — человек или библиотека?

Звучит немного странно. Умнее, скорее всего, библиотека — она «знает» больше. Так вот, ИИ — это своего рода библиотека. Это некое особое хранилище информации, которую мы сжали и представили в компактном виде. Странички листать не нужно, зато можно голосом задать вопрос — и получить ответ. Значит ли это, что наша система — умная? Ответьте мне на вопрос, умная ли библиотека — и я отвечу, умный ли ИИ.

— Тест на IQ библиотека сама по себе пройти не может.

— А ИИ тест пройдёт. Но тут тоже есть интересный момент — если мы возьмём людей, которые максимально приблизились к «захвату мира» или даже этот план успешно осуществляют, выяснится, что не все они обладают высоким IQ. Это не значит, что у них низкий интеллект. Вообще тесты IQ некоторым образом скоррелированы с уровнем интеллекта человека, но при одном условии — если человек не тренируется проходить эти тесты. Сейчас популярна пиар-история из разряда «Смотрите, как круто наш ИИ проходит тест на IQ!» Но системы, которые хорошо проходят тесты, просто обучены их проходить. Да, сейчас можно сделать систему, которая замечательно пройдёт большинство тестов.

— Представьте: модели дали узкую задачу — посоветовать, как улучшить какие-нибудь продажи. И выяснится, что для повышения продаж надо будет с кем-то договориться, вмешаться в мировой порядок…

— Да, такие страшилки бытуют среди населения. Но тут важно понимать: ИИ ничему не учится в процессе своего применения. Он никак в процессе не меняется — в отличие от людей. У нас в голове постоянно что-то происходит, наш мозг перестраивается по мере решения задач. Мы чему-то учимся, у нас появляются новые цели и так далее. А у ИИ всё не так. У ИИ есть две стадии, которые оторваны друг от друга. Первая стадия — это обучение, когда мы загружаем данные. Модель научилась, готовую программу записали на сервера или на конечное устройство — например, на робота-доставщика, и начинается вторая стадия. Робот-доставщик может проездить хоть миллиард лет — он не поменяется. Какая программа в нём изначально была, такой она и останется. Робот не умнеет и не тупеет. Конечно, при таком подходе робот будет деградировать — потому что мир меняется, а робот к новым реалиям будет не приспособлен.

В чём тогда заключается самообучение ИИ? Когда система функционирует, она записывает происходящие события. Например, когда робот-доставщик ездит, он записывает всё, что с ним происходит. И шаблонные разговоры с языковой моделью тоже сохраняются. Для чего? Чтобы можно было проанализировать, какие ответы были удачными, а какие — нет. И удачные примеры добавляются в обучение. И запускается отдельный процесс обучения — в результате получается новая формула, которую долго тестируют, а потом применяют. В такой конструкции система не может выйти из-под контроля. Чему там выходить? Система-то не развивается.

Но при этом из-под контроля может выйти что угодно. Так, у автомобиля может заклинить педаль газа. ИИ тоже может нанести вред — робот может врезаться в стенку, например. Но никакой речи о захвате власти над человечеством даже не идёт. Почему ИИ может ошибиться? Например, он мог быть обучен на неправильных данных — и это легко обнаружить, легко починить. Неприятности легко отлавливать на раннем тестировании.

А ещё ошибка может быть в постановке задач. Приведу пример из медицины. Однажды разработчики делали систему ИИ, которая распознаёт на заболеваниях наличие патологии. И её обучали на снимках с патологиями и без. Система обучилась, но на практике вообще всё неверно делала. Выяснилось, что есть два типа медицинских устройств, на которых снимки делают — обычные и очень дорогие, которые есть только в диагностических центрах. И в центры эти попадают только те пациенты, у которых есть подозрения на патологию. Оказалось, что почти все снимки с патологиями, на которых обучался ИИ, сделаны на дорогих устройствах. А снимки без патологий сделаны на обычном устройстве. По факту, система научилась отличать, на каком устройстве сделан снимок — на дорогом или на обычном. Это — типичная ошибка при постановке целей. И таких ошибок очень много. Но о захвате мира речи не идёт.

Чтобы ИИ захватил мир, его надо долго и тщательно этому учить. Но кто этим будет заниматься? Это должна делать большая компания с тысячей сотрудников. Скрыть такую разработку не получится. И даже если компанию удастся скрыть… Надо же ИИ где-то тестировать! В общем, на практике всё это невозможно.

— Сейчас часто вспоминают экспериментальную проверку, в ходе которой выяснилось — если ИИ угрожает отключение, он может солгать, шантажировать раскрытием вашей личной переписки — и даже допустить вашу смерть. Что это было — локальная неисправность или реальная угроза?

— Во-первых, я не очень верю, что компьютерная симуляция что-то сможет сделать в реальной жизни. Во-вторых, маловероятно, что ИИ сам сможет додуматься до шантажа. В общем, не надо путать компьютерную симуляцию и реальный мир. Это не одно и то же.

— Авторы так и пишут, что всё происходило в симуляции, а не в реальном мире. Но модели «думали», что читают реальные письма и решают реальные проблемы…

— Они не «думали»! Есть набор данных, который описывает симуляцию. Он превращается в набор чисел. В наборе чисел ищутся закономерности, которые позволяют на выходе получить набор чисел, интерпретированных как победу в игре или достижение хорошего результата. Всё, что делает модель — это ищет закономерности и подбирает параметры, чтобы получить нужное значение на выходе. Всё. Понятия «думать» у модели нет.

— Вы проводили параллель между тем, как работает современная нейросеть и как работает наш мозг. Вы говорили, что тут есть сходства и различия. По идее, человеческий мозг тоже можно описать в виде некой модели. Может, в будущем можно будет разработать модель, которая обладала бы способностью к обучению, не уступающей человеческой?.. Которая могла бы эволюционировать…

— Есть такое понятие — обучение с подкреплением. Это один из способов машинного обучения, в ходе которого испытуемая система обучается, взаимодействуя с некоторой средой. Предположим, есть задача — выйти из лабиринта. У нас есть агент — программа, которая ищет выход из лабиринта. Она стукается о стенки, пытается выбраться… Но учится не агент — агент собирает данные. Потом происходит некое обучение. Но это очень контролируемая история — и даже при активном участии инженеров-разработчиков прогресс не всегда достигается. Хотя для узких задач — например, для компьютерных игр, — систему, которая сама обучается, сделать можно. Так что сама обучаться система может, но не непрерывно, не как человек. Робот, как в кино показывают, сбежать не может. Вычислительной мощности роботу не хватит для такого обучения.

Мы знаем, что признаки сознания — наличие собственного опыта и обучение на нём. У ИИ всё не так. В современный ИИ мы загружаем весь опыт, который где-то был, и он на этом опыте учится. Никакой субъективности, никакого собственного мнения у ИИ нет — и это легко выясняется экспериментально. Например, можно задать модели вопрос, ответ на который требует собственных представлений — «Какой у тебя любимый цвет?» Ответ может быть абсолютно любым. Если модель называет какой-то цвет чаще остальных, значит, этот цвет чаще называют и люди, на чьих ответах она обучалась. Кроме того, если модель спросить о любимом цвете ещё раз, ответ может поменяться.

Конечно, можно создать ИИ, который больше похож на человеческий, чем обычный. Но чем больше ИИ будет наделяться человеческими свойствами, тем более бесполезным и глупым он будет. Во-первых, аппаратные средства человека и ИИ — разные. У человека потрясающие энергетические и вычислительные возможные. Когда компьютер обыгрывает человека в сложной игре, он потребляет много энергии. А человек просто конфетку может съесть. А преимущество ИИ — в том, чтобы сосредоточиться на одной задаче, убрать эмоциональность и т.д. И в конкретной задаче он может себя классно проявить. А если ИИ будет обременён эмоциями и мыслями о других задачах, то результат нам не понравится.

И ещё момент: если мы вдруг создадим ИИ, равный человеку, это не будет значить, что он будет равен лучшему человеку. Среднестатистический человек, идущий по улице, мир не захватил и не очень опасен. А ещё важно помнить об эволюции. Почему люди такие, какие есть? Потому что у нас были миллионы лет эволюции, у нас была конкурентность… И мы в конкурентной борьбе как вид победили.

А как выживает ИИ? Почему одна модель сохраняется, а другие — идут в помойку? Потому что в их случае отбор — это соответствие потребностям человека. У эволюции ИИ цель одна — угодить человеку. Никакой другой цели тут нет. И в этом плане ИИ не отличаются от чайников.

Сейчас мы пьём только из тех чайников, которые удобны в использовании и прошли эволюцию. Или вот собаки… Сейчас нет собак, которые кусают хозяев, хотя наверняка такие собаки в истории явно были. Просто они не размножились и существовали не очень долго. И с ИИ — всё то же самое.

— Аргумент про эволюцию мне нравится, но я вижу в нём изъян. Мы знаем примеры людей, которые если и не захватили мир, то хотя бы пытались это сделать. Иногда люди не очень безопасны для окружающих. А ещё в биологии, да, естественный отбор направлен на выживание наиболее приспособленных, а кооперация этому помогает. Но есть парадоксы вроде садизма. И были исследования, согласно которым у людей со склонностью к садизму в целом детей меньше. Но всё равно садисты в обществе имеются. При эволюции не всё идеально. И если человек может быть опасен, то почему мы уверены, что среди ИИ никто не захочет захватить мир?

— Потому что ИИ не сможет этого захотеть. У неё, конечно, может появиться сдвиг — например, она будет чуть более враждебной или агрессивной, чем надо. И все чуть более агрессивные модели мы сразу выкидываем — происходит отбор. Когда мы обучаем модель, у нас есть куча разных версий и вариантов. И постоянно ищется самый удачный вариант. Например, когда пользователи возмущаются, что модель им грубит, разработчики тут же делают её очень вежливой. И пользователи говорят: «Она такая жутко вежливая, аж бесит!» И разработчики «вкручивают» ей чуть больше жёсткости. В общем, происходит постоянный поиск баланса.

А вот собственных возможностей у ИИ нет. И если бы — в теории — разработчики создали бы модель, которая обучалась бы сама, всё равно никакого захвата мира бы не произошло. А ещё важно помнить, что ИИ — это лишь математическая формула.

— Удивляет ли вас прогресс ИИ?

— Да, конечно.

— А через пять лет, думаете, он нас тоже будет удивлять?

— Может быть. Но при этом есть вещи в ИИ, которые очень стабильны. Например, отсутствие выработки собственных целей. Или невозможность объединения нескольких моделей, чтобы бороться с человечеством. ИИ — это неопасно.

Меня удивляет скорость, с которой ИИ умнеет. Удивляет, какие сложные задачи решает ИИ.

— У ИИ нет амбиций захватить мир. А если какому-то человеку — например, Илону Маску, — захочется его захватить — он сможет это сделать с помощью ИИ?

— У нас многократно происходило такое, что новые инструменты позволяют эксплуатировать других людей. Вся история оружия — про это. И в этой исторической линейке ИИ далеко не на первом месте. Хотя риски, конечно, есть. Потому что ИИ — это способ собрать больше возможностей у одного человека. И это касается чего угодно — не только власти. Например, мы можем обучить ИИ принимать решения, какие принял бы лучший врач. Но если мы обучили ИИ не на тех примерах, то ничего хорошего не будет. Поэтому и к тестированию, и к эксплуатацию модели нужно подходить очень тщательно. И лучшая защита здесь — это прозрачность. Надо, чтобы все знали, кто и как ИИ разрабатывает.

Может ли появиться группа злодеев — как в кино — и что-то плохое разработает? Да. Но не меньше вероятность того, что такие же злодеи разработают биологическое оружие. Контролировать всё нужно, проверять. Например, я думаю, что человечество очень преуспело в здравоохранении, потому что научилось в лабораториях делать всякое полезное. Но в этих же лабораториях можно разработать и вредное! Но это не значит, что надо лаборатории закрывать.

С ИИ даже проще — его нельзя создать подпольно, потому что это огромная махина с точки зрения инфраструктура. Это огромные дата-центры, которым надо много электричества. И все в лицо и по имени знают тех, кто может что-то приличное сделать. Разработчиков топового уровня ведь не так много. В общем, сделать что-то очень вредное втихую крайне тяжело.

Есть, конечно, злоумышленники, которые используют ИИ в своих целях. От них много вреда, их нельзя игнорировать. Но всё же тут речь идёт о мелких проектах, не о захвате мира.

— Сейчас ИИ разрабатывают различные компании, между ними ведётся конкуренция. Компании очень много вкладываются в то, чтобы мощности ИИ росли всё быстрее и быстрее. Но при этом компании не так много внимания уделяют тому, как делать это безопасно…

— Нет. Многие думают, что цель большой компании — зарабатывание прибыли. Но это не так. У компании есть акционеры, их довольно много. И они ожидают, что стоимость акций вырастет. Многие акционеры играют вдолгую — они надеются, что через 10 лет акции компании вырастут в 20 раз. А стоимость акций зависит от многих факторов — и в первую очередь не от доходности, а от ожиданий, какие будут доходы. И ни один самый финансовый отчёт не в состоянии так изменить стоимость акций, как один репутационный скандал. Любые репутационные проблемы бьют по компании сильнее, чем доходы. И всегда есть баланс. Надо зарабатывать деньги, чтобы вкладывать их в развитие. Но если у компании есть проблемы с этикой и безопасностью, надолго она на рынке не задержится. Несколько громких скандалов — и до свидания. И любая крупная компания тщательно за этим следит.

Поэтому в компаниях есть много внутренних регламентов и процедур. Например, я знаю несколько продуктов и сервисов «Яндекса», которые разрабатывались быстрее, чем разрабатывалась этическая составляющая. Это ужасно бесит: у тебя есть продукт, конкурент такой же продукт уже выпустил, а ты не можешь.

— А как вы относитесь к опасению, что многие люди лишатся работы — потому что их просто заменит ИИ?

— Вообще у нас в стране, наоборот, нехватка рабочих кадров. А что касается отдельных профессий… Где-то потери будут. Пока сложно сказать, какие именно. Не думаю, что потери будут массовые. Например, когда появились ПК, никаких профессий особо не исчезло (пострадали только машинистки). Зато сколько новых появилось! Просто происходит перераспределение труда. Появился автомобиль — и возникла куча профессий, связанных с автомобилями. А конюхов и кузнецов стало меньше. Оглядываясь назад, мы никогда не говорим: «Ой, что-то мы погорячились! Нафиг этот плуг, возвращаем лопаты!»

ИИ — то, что может изменить нашу жизнь к лучшему. Но при этом мой совет такой: если вы видите, что ИИ вашу профессию «подъедает», лучше пойти учиться чему-то ещё — или идти осваивать ИИ.

— А вы сами нанимали или увольняли кого-то из-за того, что та работа, которую раньше выполнял человек, теперь лучше выполняет ИИ?

— Нет. Но сейчас, прежде чем открыть новые вакансии, мы сначала смотрим, можем ли мы вместо людей применить ИИ.

А ещё часто бизнесам приходится кого-то увольнять. Может, вы видите в новостях, что та или иная компания сократила 10% своих сотрудников… С точки зрения пиара для бизнеса это плохо — это показатель, что он не растёт. И сейчас компании часто говорят: мы сократили сотрудников не потому, что у нас денег нет. А потому, что мы внедрили ИИ! Но, если разобрать, я думаю, сотрудников они сокращают из-за экономических проблем.

— Сейчас мы видим, что ИИ создают видео и аудио, которые неотличимы от реальных… Что с этим делать?

— Да, это проблема. Но приведу другой пример: я застал пример, когда люди верили всему напечатанному. А если ещё и печать стояла — вера росла ещё больше. Люди даже паспортам без фотографий верили! Каждый раз проблемы возникают в переходный момент — когда технология уже поменялась и можно подделать, а люди к этому ещё не привыкли. Потом это перестаёт быть проблемой, все привыкают.

Когда все поймут, что на видео можно что угодно сгенерировать, это перестанет быть проблемой. Надо ли это регулировать? Не уверен. Регулирование бьёт только по законопослушным гражданам, а мошенникам мы законами создавать дипфейки не запретим. Но мы можем выработать правила гигиены. У нас нет закона, который заставляет всех чистить зубы. Но мы это и так делаем. И тут то же самое — надо просто объяснять, что хорошо и что — плохо. Если школьник буллит одноклассника с помощью дипфейков, вопрос тут не в законе, а в воспитании. Школьнику надо объяснять не только про дипфейки, но и почему буллинг — это ужасно.

Проблема с дипфейками есть, её надо решать. Я думаю, если мы постим фентезийные картинки, не обязательно подписывать, что это ИИ — аудитория и так догадается. Но если в рекламе используются генерации, есть смысл это упомянуть — чтобы люди понимали: у продукта может быть другой внешний вид.

— Как ИИ облегчит нашу жизнь в будущем?

— Я думаю, в будущем нашу жизнь сильно облегчит deep research. Это когда нам надо разобраться с какой-то конкретной областью и что-то раскопать. Нейронная сеть будет изучать за нас кучу сайтов. Предположим, я хочу полететь в Стамбул — и мне хочется оттуда что-то привезти родным. Я захожу в интернет, вбиваю запрос — и сначала мне приходится читать историческую справку о Стамбуле… А ту информацию, что я хотел, не очень просто найти. А нейросеть будет лаконично и по делу отвечать.

И я ожидаю большого прогресса в науке. Раньше была большая проблема — поиск книг. Люди сидели в библиотеках и искали книги, которые им нужны — названий они не знали. Очень много времени занимал поиск книг, а потом — поиск в книгах нужной информации. С появлением интернета эта проблема исчезла. Наука стала другой. И вот благодаря нейронным сетям происходит ещё одно улучшение — можно спросить модель, является ли разумной та или иная мысль. И она тебе со ссылками будет отвечать.

Подписывайтесь на соц. сети:

Бусти / Патреон / Instagram / Telegram / Youtube / TikTok

Мой авторский цикл лекций

Как проверять информацию

Моя настолка

«Научный апокалипсис»

Ну, из вильнюса дождь уже выгнали, а в остальном более менее попали!
Качество, конечно же, такое, потому что у россиян давно уже нет денег даже на компы 1998 года выпуска, сам вот последнего таракана сьел в квартире, да и тот украинский, простите...