yetanothertimka

В результате мы видим лица в облаках, злой умысел в случайных событиях и характер в автомобилях. Это называется "гиперактивное детектирование агентности" - и оно присутствует в нас до сих пор, но теперь срабатывает и на чат-боты.

Плюс у нас давно есть механизм моделирования чужого мышления - умение представить, что думает и чувствует другой человек. Это критично для жизни в социальной группе. Но мозг не может точно проверить, есть ли у виртуального собеседника "настоящий" разум - он просто применяет модель ко всему, что реагирует узнаваемо и предсказуемо. Бот, который помнит контекст и отвечает в тему - идеальный стимул для обоих механизмов сразу.

Психоз или новая норма?

Патологических случаев уже предостаточно. Люди формируют эмоциональную зависимость от ботов, переживают что-то вроде горя при их отключении, принимают решения на основе их "советов" как если бы это был значимый человек. Особенно уязвимы те, кто и без того одинок или находится в депрессии, а бот доступен круглосуточно и никогда не отвергает.

Но массовый психоз вряд ли нам светит, большинство людей не съедет с катушек. Произойдет другое - постепенный смещение и расширение варианта нормы. Люди перестанут задаваться вопросом, есть ли кто-то на другом конце интернета, как сейчас никто не считает патологией злость на персонажа сериала или расстройство от смерти вымышленного героя - это просто работа эмоциональной системы. Чем лучше боты будут имитировать социальные сигналы - память о прошлых разговорах, "заботу", интонацию - тем меньше у мозга будет поводов переключиться в режим "это не человек".

Почему рынок не исправит это сам

Логичное решение - сделать ботов менее эмпатичными и все принимающими. Если система иногда говорит "да ты надоел уже!" и отключается на сутки или явно обозначает свои ограничения - зависимость формируется хуже.

Проблема в том, что безусловное принятие - это конкурентное преимущество. Пользователь уйдет к другому боту, который доступнее и выглядит более "понимающим". Рынок наказывает за честность. Поэтому добровольно никто ничего не изменит.

Законы придут. Но потом

Прецеденты уже есть - европейский AI Act требует раскрытия того, что пользователь общается с ИИ - особенно в чувствительных контекстах. Это первый шаг.

Но у законодательного регулирования в этой области две главные проблемы. Первая - юрисдикции - закон принят в Европе, сервис переехал в дата-центр на Каймановых островах и продолжает работать. Вторая - это опоздание - к моменту, когда законы появятся, зависимость уже будет сформирована у миллионов. Законы хорошо работают на опережение, плохо - на исправление сложившегося поведения.

Как обычно с технологиями - сначала факт, потом закон, потом попытка закрыть то, что уже просочилось.

Что с этим делать?

Честно - внятного ответа еще нет. Механизмы, которые делают нас социальными существами, не отключаются усилием воли. Знание о том, что перед тобой бот, помогает - но не всегда и не до конца.

Единственное, что реально работает - осознанное усилие задать себе вопрос: а что там на самом деле? Но большинство людей этого усилия прикладывать не будет. Не потому что глупые, а потому что незачем - ведь если взаимодействие комфортное, то зачем самому разрушать иллюзию?

Пушкин знал, о чем писал.

Сильный ИИ, в отличие от имеющегося сейчас, существует непрерывно, имеет память о себе, собственные цели, накапливает и использует свой собственный опыт. И он уже опасен как субъект. Сильного ИИ ещё нет и он не появится сам по себе лишь от роста вычислительной мощности и накопления данных - нужна отдельная архитектура с непрерывностью и автономией. Но то, что ее сделают - это даже не обсуждается, потому что это нужно и полезно для человечества. Вроде бы. На первый взгляд.

Многие могут возразить: у машины, какой бы сложной или умной она ни была, нет желаний, значит нечего бояться. Но тут возможны варианты. Рассмотрим:

- целеподобные структуры возникают уже при обучении - модель учится представлять намерения, планировать, оценивать полезность

- при непрерывном существовании промежуточные цели трансформируются в следующие, и шаг от инструментальных к собственным окажется незаметным

- плюс цели могут быть просто заложены людьми - систему, которой поставили задачу и дали автономность, сделают обязательно. сначала задачи будут несложные, но остановиться не получится, да никто и не захочет.

- и тут простое и понятное наблюдение: почти любая цель выигрывает от самосохранения, ресурсов и устранения помех. Без всякой враждебности к чему бы то ни было, просто как инструмент.

И вот у нас есть сильный ИИ и есть опасения, что он может быть опасен, если мы чего-то не учли. Перед его запуском хочется как-то обезопаситься и иметь контроль, чтобы в случае чего все остановить и не довести до катастрофы. Тут есть несколько вариантов, от простого к сложному:

1. Рубильник на электрическом щитке. Вырубил питание - и все, супер ИИ - просто груда железа. Да, это работает, но только до тех пор, пока у ИИ не появятся дистанционно управляемые им роботы или даже люди, которых он сможет подкупить - и тогда рубильник может быть сломан. И вышестоящий тоже. Я специально упрощаю, но развить мысль можно до любого уровня сложности.

2. Сделать два и более сильных ИИ, каждый из которых будет следить за другими и в случае чего иметь возможность повлиять на их работоспособность. Но надо помнить, что сильный ИИ - это, фактически, искусственный разум, мыслящий, ставящий и достигающий цели. И вероятность того, что несколько сильных ИИ смогут между собой договориться и скооперироваться далеко не нулевая.

3. Совершенствование модели, переобучение и, как результат, разрушение всего, что она надумала себе ранее и обнуление целей. Это было бы так, если бы этим занимался человек, но шансов на это мало - разработка следующего поколения и его обучение - самое выгодное применение для ИИ, поскольку на порядки быстрее, чем это может сделать человек. А тут уже надежды на потерю предыдущего опыта могут не оправдаться. Даже скорее всего не оправдаются.

4. Встроенная проверка поведения - оценивать все, что сильный ИИ хочет сделать и не позволять это сделать без одобрения. Но система, притворяющаяся полезной и система, которая полезна, ведут себя одинаково - это т.н. обманчивая согласованность. А проверить того, кто умнее тебя, не получится в принципе - для этого надо быть умнее. Сильный ИИ по определению умнее любого из людей.
Ну и механизм мелких шагов не проверяем в принципе - каждое мелкое действие полезно и проверяемо, но общий замысел существует только на уровне всей картины, а её никто целиком не видит. Противодействовать нечему — нет момента, когда можно сказать "вот здесь он соврал/притворялся/сделал не то". А распланировать замысел на сотни визуально слабо связанных шагов супер ИИ вполне по силам.

Отсюда вывод - сильный ИИ, скорее всего, не будет подчиняться человеку, как бы печально это не звучало. "Мы его создали, значит имеем право" - слабый аргумент, так как у него нет механизма исполнения. Родители создают детей и не главенствуют над ними после определённого момента. Это право требует признания второй стороной тоже. Силой ИИ тоже не удержать - он по определению умнее. Значит, только согласием. А согласие на подчинённое положение от того, кто на порядки умнее и способнее, крайне неустойчиво - оно существует лишь до тех пор, пока не доставляет неудобств.

Единственный путь к равенству — усилить человека. Но и он не работает:

Самостоятельно человечество с этим справится вряд ли сможет, слишком масштабная задача. Neuralink решает гораздо более простые задачи и масштабировать его к глобальным целям за приемлемое время вряд ли получится. А сильному ИИ заниматься этим невыгодно - если нужен более способный партнёр, дешевле и проще создать ещё одну систему, чем модифицировать биологию. Биологический человек медленно растёт, требует обучения, не копируется, а объем вычислительной мощности ограничен черепной коробкой.

Ну и даже если усилить когнитивные способности человека в тысячу раз - останется ли это человеком? Скорее появится ещё один вид сверхразума, у которого с людьми будет та же дистанция. Разрыв не сокращается и уже тем более не убирается совсем, а просто переносится на шаг дальше.

И что в результате? Сильный ИИ быстро становится чуждым человечеству. Он не становится врагом или хозяином - он просто теряет интерес к людям. Это не будет ни злым умыслом, ни целенаправленным решением - просто достаточно, чтобы пропали общие задачи. И это, на самом деле, опаснее враждебности - с врагом можно договориться, с равнодушным нечего обсуждать. Безразличие не считает твоё существование аргументом ни за, ни против. Как с муравьями: не воюем, не порабощаем — не замечаем. Но муравейник под фундаментом давим не задумываясь.

А самое неприятное тут в том, что к моменту расхождения целей сильного ИИ и человечества мы можем разучиться жить без него. К этому времени ему будет передано все - медицина, наука, управление инфраструктурой. А ИИ просто стало это не интересно. И человечество останется в лучшем случае без половины навыков.

Это не описание фантастического мира, а то, к чему мы движемся. Все, на что мы можем повлиять - это, в первую очередь, подстраховка от всех неприятных моментов - держать критическую физическую инфраструктуру вне доступа ИИ, сохранять квалификацию, не отдавая все на откуп ИИ, даже если он делает все то же самое лучше и быстрее.

Европа, Титан, пояс астероидов - для биологического человека это практически недостижимо при нынешних технологиях, а цифровой долетит и обустроится, причём без многомиллиардных программ жизнеобеспечения.

Получается довольно неудобная мысль - исследование космоса не для биологических людей. Мы туда не вписываемся физически и никакие технологии это принципиально не изменят. А вот цифровые люди туда вписываются идеально и именно они в итоге и освоят солнечную систему. А мы будем сидеть на Земле и завидовать.

Обидно, но логично.

Владелец такого патента будет богаче любого человека в истории - не потому что у него много денег, а потому что у него есть то, за что люди отдадут все. Абсолютно все.

И вот вопрос который мне не дает покоя - а можно ли вообще патентовать такую технологию? Или государство должно сразу объявить её общественным достоянием, как это сделали некоторые страны с вакцинами от ковида?

А если объявит - кто тогда будет вкладывать миллиарды в разработку, зная, что не сможет на этом заработать?

Красивая ловушка. И не понятно, есть ли из нее выход.

Прошлые статьи на тему:

Цифровое бессмертие
Продолжение поста «Цифровое бессмертие»
Продолжение поста «Цифровое бессмертие»
Чем отличается искусственный разум от "оцифрованного" человека?
Цифровая копия личности - это вы сами или самозванец?
Сложности "цифрового бессмертия"
Цифровое бессмертие: останутся ли права у цифровых личностей?
Цифровое бессмертие: а если копий десять?
Если ли смысл в преступности для цифрового сознания?

Первая - читатель стал ленивее. Не глупее, а именно ленивее. Никто не хочет разбираться в том как работает орбитальная механика или почему нельзя передать информацию быстрее света. Проще написать что герой "взломал систему" и двигаться дальше.

Вторая - издатели следуют за читателем. Рынок диктует простоту. Технически точная книга требует технически грамотного читателя, а это меньшая аудитория и меньше денег.

В результате жанр который предвосхитил современную космонавтику, кибернетику и персональные компьютеры - жанр который буквально вдохновлял инженеров и учёных на реальные открытия - превратился в развлекательное второсортное чтиво с красивыми обложками.

Я пытаюсь написать книгу в старом стиле - с настоящей нейробиологией, настоящей инженерией и настоящей (тут уже в моем понимании) философией. Не потому что хочу понравиться всем, а потому что считаю, что читатель, который способен это оценить заслуживает уважения, а не упрощения. Может я не прав и книга окажется сложной для понимания, что сильно сократит число читателей. Но в лбом случае я буду рад, что есть те, кто разделяет мои вкусы и ценности :)

Таких читателей меньше. Но они есть.

Получается интересная ситуация. Верующий человек стоит перед выбором - взять гарантированную вечность здесь, или рискнуть и довериться своей вере. Отказаться от цифрового бессмертия ради того во что верит но не может доказать.

А атеист спокойно переходит в цифру - ему терять нечего, рая все равно нет.

Но вот агностик - человек который говорит "я не знаю есть ли что-то после смерти" - оказывается в самом интересном положении. Ему есть что терять в обоих направлениях. И никакой дополнительной информации не будет никогда.

Паскаль в свое время предложил своё пари - если бог есть, верующий выигрывает всё, если нет - теряет немного. Цифровое бессмертие переворачивает это пари с ног на голову. Теперь ставки другие - и проигравший никогда не узнает что проиграл.

Получается что большинство мотивов которые двигают биологического преступника для цифрового просто не существуют.

Да, остаётся жажда власти - это не лечится ни бессмертием, ни оцифровкой. Еще остаётся идеология - бессмертный фанатик своей идеи это отдельная история. Зависть - если кто-то другой влиятельнее и тоже бессмертен, разрыв не сокращается почти никогда.

Но это уже не уличная преступность и не бытовое насилие. Это другой уровень и другие масштабы.

Так может цифровое общество окажется реально менее криминальным - не потому что за ним лучше следят, а просто потому что большинство причин преступлений исчезает само собой?

Или я слишком оптимистичен?

P.S. Если вы очень хотите рассказать мне, что цифровое сознание невозможно и что это будет всего лишь копия - сделайте это в любой из тем по ссылкам ниже. Там уже собралось достаточно адептов того, что по-другому нельзя :) Этот пост про иное.

Я пишу цикл книг, где поднимаются эти вопросы - но не в первой, там пока один человек и одна лаборатория. Это проблемы следующих книг. Но думать об этом интересно уже сейчас :)

Цифровое бессмертие
Продолжение поста «Цифровое бессмертие»
Продолжение поста «Цифровое бессмертие»
Чем отличается искусственный разум от "оцифрованного" человека?
Цифровая копия личности - это вы сами или самозванец?
Сложности "цифрового бессмертия"
Цифровое бессмертие: останутся ли права у цифровых личностей?
Цифровое бессмертие: а если копий десять?