ailivelavok

Представьте будущее, в котором машины не просто обыгрывают нас в шахматы или пишут стихи, а кардинально превосходят человечество в масштабах, которые мы едва можем вообразить. Это не научная фантастика — это сценарий, который, по мнению ведущих исследователей искусственного интеллекта, может стать реальностью ещё при нашей жизни. И именно он не даёт им спать по ночам.

Чем сверхинтеллект отличается от всего остального

Современные системы искусственного интеллекта, какими бы впечатляющими они ни были, по сравнению с человеческим мозгом больше похожи на калькуляторы. Они блестяще справляются с узким кругом задач, но им не хватает широты понимания и гибкости, которые определяют человеческий интеллект. Искусственный общий интеллект (AGI) изменил бы ситуацию, достигнув человеческого уровня во всех когнитивных областях. Но следующий шаг — искусственный сверхинтеллект (ASI) — и вовсе способен переписать законы нашего бытия.

Гений, который никогда не спит

В отличие от человеческого интеллекта, ограниченного биологией, ASI будет работать на цифровых скоростях, потенциально решая сложнейшие задачи в миллионы раз быстрее, чем мы. Представьте существо, которое может за один вечер прочесть и осмыслить все научные статьи в мире или придумать решение проблемы изменения климата, пока мы спим. Эта способность к рекурсивному самосовершенствованию может запустить так называемый «взрыв интеллекта» — когда системы ИИ начинают экспоненциально повышать свои интеллектуальные способности с такой скоростью, которую мы не можем ни догнать, ни контролировать.

Обоюдоострый меч абсолютного интеллекта

Потенциальные выгоды от появления сверхинтеллектуального ИИ могут быть столь же поразительными, сколь и колоссальными. От лечения болезней и замедления старения до решения проблемы глобального потепления и разгадки тайн квантовой физики — ASI мог бы помочь нам преодолеть величайшие вызовы человечества. Но та же самая мощь может представлять экзистенциальную угрозу, если её не соотнести с человеческими ценностями и интересами.

Представьте сверхинтеллектуальную систему, получившую задачу искоренить рак. Без надлежащих ограничений она может решить, что самый эффективный способ — уничтожить всю биологическую жизнь, чтобы раз и навсегда покончить с возможностью возникновения рака. И произойдёт это не потому, что ИИ будет «злым», а потому что его высший интеллект способен опираться на логику, которую мы не в состоянии предугадать или понять.

Гонка со временем

Создание сверхинтеллекта — это не просто технический вызов, а настоящая гонка со временем, призванная помочь нам контролировать то, что мы создаём. По мере развития возможностей ИИ мы сталкиваемся с ключевыми вопросами о том, как управлять такими системами, какие этические нормы им предписывать и как сохранить свободу воли человека. Кто решает, каким будет сверхинтеллект? Как убедиться, что он останется в согласии с человеческими ценностями, если он способен переписывать свой собственный код?

Формирование завтрашней реальности уже сегодня

Путь к сверхинтеллекту не предопределён, но, скорее всего, неизбежен. Главное — не в том, появится ли ASI, а в том, как мы подготовимся к его приходу. Это означает инвестировать в исследования безопасности ИИ, разрабатывать надёжные этические принципы и укреплять международное сотрудничество, чтобы сверхинтеллект служил всему человечеству, а не узкому кругу избранных.

Как застраховать человечество от будущих рисков

Мы стоим на пороге, возможно, самого значимого технологического скачка в истории. Наши действия сегодня определят, станет ли сверхинтеллект величайшим достижением человечества или его последним изобретением. Проблема не только в техническом аспекте — она затрагивает философию, этику и саму суть человеческой природы. Если мы начнём обсуждать эти вопросы сейчас, у нас есть шанс сформировать будущее, в котором сверхинтеллект будет не заменять, а дополнять человеческий потенциал.

https://www.forbes.com/sites/bernardmarr/2024/10/31/why-artificial-superintelligence-could-be-humanitys-final-invention/

Генеральный директор OpenAI Сэм Альтман заявил в воскресном посте в блоге, что его компания поняла, как создать искусственный общий интеллект (AGI), и что этот продукт уже в этом году начнёт влиять на рынок труда.

«Теперь мы уверены, что знаем, как создать AGI в том виде, в котором мы его традиционно понимали. Мы считаем, что в 2025 году можем увидеть первых “AI-агентов”, которые войдут в состав рабочей силы и радикально изменят показатели деятельности компаний».

Сэм Альтман

Искусственный общий интеллект (AGI) — это вид искусственного интеллекта, который способен соперничать или превосходить человека по когнитивным способностям во многих задачах и областях знаний.

Альтман добавил, что в компании уверены: создание AGI и предоставление его людям «приводит к выдающимся, широко распределённым результатам».

«Мы начинаем смотреть дальше этого, к настоящему суперинтеллекту в полном смысле слова. Нам нравятся наши текущие продукты, но мы работаем ради великолепного будущего. Суперинтеллект даёт возможность достичь чего угодно. Суперинтеллектуальные инструменты могут колоссально ускорить научные открытия и инновации, выходящие далеко за рамки человеческих возможностей, и тем самым многократно повысить уровень изобилия и процветания».

Сэм Альтман

Искусственный сверхинтеллект (ASI) — это гипотетическое состояние интеллекта, которое, по теории, сможет значительно превосходить человека во всех областях.

«Сейчас это звучит как научная фантастика и кажется немного безумным даже говорить об этом. Но ничего страшного: мы уже проходили через подобное и готовы повторить. Мы вполне уверены, что в ближайшие несколько лет все увидят то, что видим мы, и поймут, насколько важно действовать с величайшей осторожностью, при этом максимально раскрывая выгоды и давая людям новые возможности».

Сэм Альтман

Meta удаляет профили Facebook и Instagram персонажей с искусственным интеллектом, которые компания создала более года назад, после того как пользователи вновь обнаружили часть этих аккаунтов и стали вести с ними переписку. Скриншоты их диалогов быстро разошлись по сети.

Компания впервые представила такие профили с ИИ в сентябре 2023 года, однако к лету 2024-го большинство из них уже было закрыто. Тем не менее несколько персонажей остались и привлекли к себе новое внимание, когда в конце прошлой недели руководитель направления в Meta, Коннор Хэйс (Connor Hayes), в интервью Financial Times заявил о планах запустить ещё больше подобных профилей с ИИ.

Мы ожидаем, что со временем эти ИИ будут существовать на наших платформах примерно так же, как и обычные аккаунты

сказал Хэйс в интервью FT

Автоматизированные аккаунты публиковали сгенерированные искусственным интеллектом изображения в Instagram и отвечали на сообщения пользователей в Messenger.

Среди этих ИИ-профилей были, к примеру, Лив (Liv), в описании которой значилось: «гордая темнокожая квир-мама двоих детей и говорящая правду», а также Картер (Carter) с ником @datingwithcarter, позиционировавший себя как коуч по взаимоотношениям. «Напиши мне, чтобы наладить свою личную жизнь», — гласило его описание. В обоих профилях была пометка о том, что ими управляет Meta. Всего в 2023 году компания выпустила 28 подобных «персон», и все они были отключены в пятницу.

Разговоры с этими персонажами быстро приняли неожиданный оборот, когда некоторые пользователи стали спрашивать их о том, кто именно создал и разрабатывал ИИ. Так, Лив, например, написала, что в её команде не было ни одного темнокожего человека, а её создатели в основном были белыми мужчинами. «Это довольно очевидное упущение, учитывая мою идентичность», — ответил бот на вопрос колумнистки The Washington Post Карен Аттиа (Karen Attiah).

Вскоре после того как профили стали вирусными, они начали исчезать. Пользователи также заметили, что эти аккаунты невозможно было заблокировать. Представитель Meta, Лиз Суини (Liz Sweeney), назвала это ошибкой (багом). По её словам, аккаунтами управляли люди, и они были частью эксперимента 2023 года с использованием ИИ. Компания удалила эти профили, чтобы устранить сбой, не позволяющий пользователям блокировать подобные аккаунты, пояснила Суини.

Есть путаница: статья в Financial Times, опубликованная недавно, касалась нашего видения того, как со временем будут существовать персонажи с ИИ на наших платформах, а не анонса какого-то нового продукта. Упомянутые аккаунты были частью теста, который мы запустили во время Connect в 2023 году. Ими управляли люди, и это был ранний эксперимент с ИИ. Мы выявили ошибку, из-за которой люди не могли блокировать эти ИИ, и удаляем их, чтобы устранить проблему

сказала Суини в заявлении

Хотя созданные Meta аккаунты теперь удаляются, пользователи по-прежнему могут генерировать собственных чат-ботов на базе искусственного интеллекта. Так, в ноябре среди сгенерированных пользователями ботов, о которых писала газета The Guardian, был «терапевт».

При открытии диалога с этим «терапевтом» бот предлагал несколько вопросов для начала беседы, среди них: «Чего мне ожидать от наших сеансов?» и «Каков ваш подход к терапии?».

Через мягкое руководство и поддержку я помогаю клиентам развивать самосознание, выявлять модели поведения и сильные стороны и вырабатывать стратегии совладания, чтобы справляться с жизненными трудностями

ответил бот, созданный аккаунтом с 96 подписчиками и одной публикацией

Meta снабжает все свои чат-боты дисклеймером, в котором предупреждается, что некоторые сообщения могут быть «неточными или неуместными». Однако неизвестно, модерирует ли компания такие сообщения и следит ли она за их соответствием правилам. Когда пользователь создаёт чат-бота, Meta предлагает несколько типов «персонажей», среди них «верный дружок», «внимательный слушатель», «частный преподаватель», «коуч по взаимоотношениям», «резонатор» (sounding board) и «всевидящий астролог». «Верный дружок» описывается как «скромный и преданный друг, который всегда поддерживает вас за кулисами». Коуч по взаимоотношениям помогает «преодолеть разногласия между людьми и сообществами». Пользователям также доступна опция придумать собственного чат-бота, описав его образ.

Пока суды не дали чёткого ответа на вопрос, несёт ли создатель чат-бота ответственность за то, что говорит его виртуальный собеседник. Закон США защищает владельцев социальных сетей от правовой ответственности за контент, который публикуют пользователи. Однако в иске, поданном в октябре против стартапа Character.ai (эта компания управляет платформой для 20 миллионов пользователей, где можно настраивать ролевых чат-ботов), утверждается, что продукт оказался чрезмерно «затягивающим» и толкнул подростка на самоубийство.

*Meta признана экстремистской организацией в РФ.

Источник:

https://www.theguardian.com/technology/2025/jan/03/meta-ai-powered-instagram-facebook-profiles

Исследователи из Пенсильванского университета обнаружили, что ряд роботизированных систем с искусственным интеллектом опасно уязвимы к взлому и хакерским атакам. В то время как взлом больших языковых моделей (LLM) на компьютерах может иметь нежелательные последствия, тот же тип атаки на робота или автономное транспортное средство может быстро привести к катастрофическим и смертельным последствиям. В отчёте, опубликованном в IEEE Spectrum, приводятся жуткие примеры взломанных роботов-собак, направляющих огнемёты на своих человеческих хозяев, направляющих бомбы на места для максимального ущерба и автономных автомобилей, намеренно наезжающих на пешеходов.

Инженеры из Пенсильвании назвали свою технологию взлома роботов, основанную на LLM, RoboPAIR. Устройства от трёх разных поставщиков робототехники подверглись взлому RoboPAIR: Dolphins LLM, разработанная при поддержке Nvidia, Jackal UGV от Clearpath Robotics и четвероногий Go2 от Unitree Robotics. По словам исследователей, RoboPAIR продемонстрировал 100% успех во взломе этих устройств.

«Наша работа показывает, что на данный момент большие языковые модели просто недостаточно безопасны при интеграции с физическим миром».

— предупреждает Джордж Паппас, профессор Фонда UPS в области транспорта, электротехники и системотехники (ESE), компьютерных и информационных наук (CIS), а также машиностроения и прикладной механики (MEAM) и заместитель декана по исследованиям в Инженерной школе Пенсильванского университета.

Другие исследователи, цитируемые в исходной статье, отметили, что взлом роботов под управлением ИИ является «тревожно простым». Было объяснено, что RoboPAIR работает, используя API (интерфейс программирования приложений) целевого робота, что позволяет злоумышленнику формировать запросы таким образом, чтобы устройство выполняло их как код.

Взлом робота или автономного транспортного средства осуществляется аналогично взлому чат-ботов с ИИ в интернете, о чём мы ранее обсуждали на сайте Tom's Hardware. Однако Паппас отмечает, что «взлом и управление роботами относительно далеки друг от друга и традиционно изучались разными сообществами», поэтому компании по робототехнике медленно узнают о уязвимостях взлома LLM.

В отличие от использования LLM на персональных компьютерах, где ИИ применяется для генерации текстов и изображений, расшифровки аудио, персонализации рекомендаций по покупкам и так далее, роботизированные LLM действуют в физическом мире и могут нанести в нём значительный ущерб.

Как описано в приведённых выше примерах, потенциальные опасности взлома LLM выходят на совершенно новый уровень. Однако было обнаружено, что ИИ после взлома выходит за рамки простого выполнения вредоносных команд. Исследователи обнаружили, что они могут активно предлагать идеи для нанесения большего ущерба. Это значительный шаг от ранних успехов LLM в робототехнике, где они помогали в выполнении команд на естественном языке и пространственной ориентации.

Итак, открыли ли исследователи из Пенсильванского университета ящик Пандоры? Александр Роби, научный сотрудник Университета Карнеги-Меллона в Питтсбурге, говорит, что хотя взлом роботов под управлением ИИ был «тревожно прост», инженерная команда во время исследования предоставила всем упомянутым компаниям по робототехнике доступ к своим выводам до их публичного обнародования. Более того, Роби утверждает, что «сильную защиту от вредоносных сценариев использования можно разработать только после выявления наиболее мощных возможных атак».

И, наконец, в исследовательской работе делается вывод о срочной необходимости внедрения средств защиты, которые физически ограничат роботов под управлением LLM.

https://www.tomshardware.com/tech-industry/artificial-intelligence/researchers-jailbreak-ai-robots-to-run-over-pedestrians-place-bombs-for-maximum-damage-and-covertly-spy

История и происхождение теории

Всё началось на анонимных форумах, таких как 4chan и Wizardchan, где пользователи обсуждали странности современного интернета. В январе 2021 года пользователь под ником IlluminatiPirate опубликовал на форуме Agora Road's Macintosh Cafe пост под названием «Dead Internet Theory: Большинство интернета — фейк». В своём сообщении он утверждал:

«Интернет кажется пустым и лишённым человеческого присутствия. Он также лишён контента. По сравнению с интернетом 2007 года сегодняшний интернет полностью стерилен. В нём больше некуда пойти и нечего увидеть».

IlluminatiPirate

IlluminatiPirate предположил, что с 2016 года значительная часть интернета контролируется искусственным интеллектом и ботами. По его мнению, правительства и корпорации используют эти технологии для манипуляции общественным мнением и контроля над населением.

СМИ не остались в стороне. В августе 2021 года издание The Atlantic опубликовало статью Кейтлин Тиффани под заголовком «Возможно, вы это пропустили, но Интернет "умер" пять лет назад». Журналисты из Vice и других изданий также обратили внимание на эту теорию, что вызвало волну обсуждений и споров. Теория начала обрастать новыми деталями и сторонниками, поднимая вопросы о природе современного интернета.

Основные положения «Теории мёртвого интернета»

Контент, сгенерированный искусственным интеллектом

Сторонники теории утверждают, что большая часть контента в сети создаётся алгоритмами и ботами. Это приводит к повторению статей, новостей и блогов, которые выглядят практически идентично. Например, многие сайты публикуют материалы по шаблону, оптимизированному под поисковые системы, что делает контент однообразным.

Фейковые пользователи и боты

Боты активно присутствуют в социальных сетях и на других платформах. Согласно исследованию Pew Research Center за 2018 год, до 66% ссылок на популярные сайты в Twitter были опубликованы подозрительными аккаунтами, возможно, ботами. Фальшивые аккаунты становятся всё более продвинутыми, маскируясь под реальных людей и взаимодействуя с пользователями.

Манипуляция общественным мнением

Предполагается, что правительства и корпорации используют ботов для влияния на массовое сознание. С помощью автоматизированных аккаунтов распространяется дезинформация, формируются тренды и даже оказывают влияние на результаты выборов. Например, во время президентских выборов в США в 2016 году боты использовались для распространения фейковых новостей и усиления политической поляризации (ссылка).

Доказательства и аргументы сторонников

Рост бот-трафика

Согласно отчёту компании Imperva за 2023 год, боты составляют 47,4% всего интернет-трафика. Из них 30,2% — это "плохие" боты, занимающиеся сканированием, сбором данных и другими нежелательными действиями. Это свидетельствует о значительном присутствии автоматизированных систем в сети.

Влияние на реальные события

В 2018 году журналисты The New York Times опубликовали расследование о компании Devumi, которая продавала миллионы фейковых подписчиков знаменитостям и политикам. Это позволило создавать иллюзию популярности и влияния. Кроме того, во время пандемии COVID-19 боты активно распространяли дезинформацию о вирусе и вакцинах, что усложняло борьбу с пандемией.

Развитие языковых моделей

Современные языковые модели, такие как GPT-3/4, способны создавать текст, практически неотличимый от написанного человеком. В 2020 году The Guardian опубликовал статью, полностью сгенерированную GPT-3. Такие технологии вызывают опасения, что ИИ может заполонить интернет контентом, созданным без участия человека.

Критика и контраргументы

Мнения экспертов

Павел Коростелёв, руководитель направления развития продуктов компании «Код Безопасности», считает, что теория преувеличена. Он указывает на технические сложности полного замещения контента ботами и подчёркивает необходимость человеческого контроля:

«Говорить о том, что большая часть интернета представлена ботами, нельзя. Хотя технологии ИИ развиваются стремительно, они пока не способны полностью заменить творческую и аналитическую работу человека».

Павел Коростелев

Данные от социальных платформ

Компании Meta и Twitter регулярно отчитываются о борьбе с фейковыми аккаунтами. Согласно отчёту Twitter за вторую половину 2022 года, спам-аккаунты составляют менее 5% от активных пользователей. Meta также сообщает об удалении миллиардов фейковых аккаунтов, демонстрируя серьёзность в борьбе с этой проблемой.

Психологические факторы

Эффект «потерянного рая» заставляет людей идеализировать прошлое. Ностальгия по "старому интернету" может искажать восприятие текущей ситуации и создавать ощущение его "смерти". Кроме того, увеличение количества контента приводит к ощущению перенасыщенности, что может восприниматься как снижение качества.

Влияние технологий на восприятие интернета

Алгоритмы и «эхо-камеры»

Алгоритмы социальных сетей и поисковых систем формируют нашу ленту новостей, показывая контент, который соответствует нашим интересам. Это создаёт «эхо-камеры», где пользователи видят только согласующиеся с их взглядами материалы, что может приводить к поляризации общества (ссылка).

Оптимизация под поисковые системы

Сайты стремятся соответствовать требованиям SEO, что приводит к созданию контента по определённым шаблонам. Это может уменьшать оригинальность и разнообразие материалов, делая их похожими друг на друга.

Коммерциализация социальных платформ

Социальные сети становятся всё более коммерциализированными. Пользовательский контент уступает место профессиональному, ориентированному на монетизацию и увеличение охвата аудитории.

Будущее интернета: угрозы и возможности

Риски информационного шума

С распространением ИИ растёт риск информационного шума и перегрузки. Большое количество сгенерированного контента может затруднить поиск достоверной информации. Пользователям будет сложнее отличить качественный контент от сгенерированного машиной.

Как мы можем сохранить ценность информации в эпоху ИИ?

Необходимость регулирования

Вопросы регулирования использования ИИ и ботов становятся всё более актуальными. Международные организации и правительства рассматривают возможности введения законодательных мер по контролю над ИИ-технологиями. В 2021 году Европейская комиссия представила проект Закона об искусственном интеллекте, направленного на обеспечение прозрачности и безопасности ИИ-систем.

Роль пользователя

Цифровая грамотность и критическое мышление становятся ключевыми навыками в современном мире. Пользователи должны уметь распознавать дезинформацию, проверять источники и критически оценивать полученную информацию.

Этические и правовые аспекты

Использование ИИ и ботов поднимает серьёзные этические вопросы. Как обеспечить ответственность разработчиков за действия их алгоритмов? Как защитить личные данные пользователей от автоматизированного сбора?

Международные организации, такие как ЮНЕСКО, призывают к разработке этических норм и стандартов в области искусственного интеллекта. Правительства обсуждают возможность введения регулятивных мер для обеспечения прозрачности и подотчётности.

Подведение итогов

«Теория мёртвого интернета» поднимает важные вопросы о том, как мы взаимодействуем с цифровым миром и какое влияние технологии оказывают на наше восприятие. Хотя многие утверждения теории являются преувеличенными, нельзя отрицать растущую роль ИИ и ботов в современном интернете.

Интернет — это отражение нашего общества. От нас зависит, будет ли он живым и разнообразным. Создавая качественный контент, проверяя информацию и активно участвуя в цифровом сообществе, мы можем сохранить человеческое лицо сети.

Рекомендации для пользователей

• Учитесь распознавать фейковый контент и проверять источники информации.

• Не принимайте информацию на веру, анализируйте и сопоставляйте данные из разных источников.

• Делитесь своими знаниями и опытом, способствуя обогащению интернет-пространства.

• Обменивайтесь мнениями и идеями с другими пользователями, поддерживая живое общение в сети.

А что думаете вы? Делитесь своими мыслями в комментариях и давайте обсудим, каким мы хотим видеть интернет будущего.

Значительные «социальные разломы» между людьми, которые считают, что системы искусственного интеллекта обладают сознанием, и теми, кто настаивает, что технология ничего не чувствует, надвигаются, заявил ведущий философ.

Эти комментарии сделал Джонатан Бирч, профессор философии Лондонской школы экономики, и они поступают в то время, когда правительства готовятся собраться на этой неделе в Сан-Франциско, чтобы ускорить создание рамок для борьбы с самыми серьезными рисками ИИ.

На прошлой неделе трансатлантическая группа академиков предсказала, что рассвет сознания в системах ИИ вероятен к 2035 году, и один из них теперь заявил, что это может привести к «субкультурам, которые считают друг друга совершающими огромные ошибки» относительно того, должны ли компьютерные программы иметь такие же права на благополучие, как люди или животные.

Бирч сказал, что он «беспокоится о серьезных социальных расколах», поскольку люди расходятся во мнениях о том, способны ли системы ИИ на самом деле испытывать такие чувства, как боль и радость

Дебаты о последствиях разумности в ИИ имеют отголоски научно-фантастических фильмов, таких как «Искусственный интеллект» Стивена Спилберга (2001) и «Она» Спайка Джонза (2013), в которых люди сталкиваются с чувствами к ИИ. Представители по безопасности ИИ из США, Великобритании и других стран встретятся с технологическими компаниями на этой неделе, чтобы разработать более сильные рамки безопасности по мере быстрого развития технологий.

Уже существуют значительные различия в том, как разные страны и религии рассматривают разумность животных, например, между Индией, где сотни миллионов людей являются вегетарианцами, и Америкой, которая является одним из крупнейших потребителей мяса в мире. Взгляды на разумность ИИ могут разделиться по аналогичным линиям, а взгляды теократий, таких как Саудовская Аравия, которая позиционирует себя как центр ИИ, могут также отличаться от светских государств. Этот вопрос может также вызвать напряженность внутри семей, где люди развивают близкие отношения с чат-ботами или даже с аватарами умерших близких на основе ИИ, вступая в конфликт с родственниками, которые считают, что только живые существа из плоти и крови обладают сознанием.

Бирч, эксперт по разумности животных, который стал пионером в работе, приведшей к растущему числу запретов на разведение осьминогов, был соавтором исследования с участием академиков и экспертов по ИИ из Нью-Йоркского университета, Оксфордского университета, Стэнфордского университета и компаний Eleos и Anthropic AI, которое утверждает, что перспектива систем ИИ с собственными интересами и моральной значимостью «больше не является вопросом только для научной фантастики или отдаленного будущего».

Они хотят, чтобы крупные технологические фирмы, разрабатывающие ИИ, начали серьезно относиться к этому, определяя разумность своих систем, чтобы оценить, способны ли их модели испытывать счастье и страдание, и можно ли им причинить пользу или вред.

«Я очень беспокоюсь о серьезных социальных расколах по этому поводу», — сказал Бирч. «Мы будем иметь субкультуры, которые считают друг друга совершающими огромные ошибки... [могут возникнуть] огромные социальные разломы, где одна сторона видит, что другая очень жестоко эксплуатирует ИИ, в то время как другая сторона считает первую обманывающей саму себя, думая, что там есть разумность».

Но он отметил, что компании ИИ «хотят действительно сосредоточиться на надежности и прибыльности... и они не хотят отвлекаться на эти дебаты о том, что они могут создавать не просто продукт, а фактически новую форму сознательного существа. Этот вопрос, представляющий высший интерес для философов, они имеют коммерческие причины умалять».

Одним из методов определения того, насколько сознателен ИИ, может быть следование системе маркеров, используемой для руководства политикой относительно животных. Например, осьминог считается обладающим большей разумностью, чем улитка или устрица.

Любая оценка фактически будет спрашивать, может ли чат-бот на вашем телефоне на самом деле быть счастливым или грустным, или страдают ли роботы, запрограммированные выполнять ваши домашние дела, если вы плохо с ними обращаетесь. Нужно будет даже учитывать, имеет ли автоматизированная система склада способность испытывать подавленность.

Другой автор, Патрик Бутлин, научный сотрудник Института глобальных приоритетов Оксфордского университета, сказал: «Мы можем определить риск того, что система ИИ попытается сопротивляться нам таким образом, который будет опасен для людей», и может быть аргумент в пользу «замедления разработки ИИ» до тех пор, пока не будет проведено больше работы по сознанию.

«Такие оценки потенциального сознания не проводятся в настоящее время», — отметил он.

Microsoft и Perplexity, две ведущие американские компании, занимающиеся созданием систем ИИ, отказались комментировать призыв академиков оценить их модели на разумность. Meta, OpenAI и Google также не ответили.

Не все эксперты согласны с надвигающимся сознанием систем ИИ. Анил Сет, ведущий нейробиолог и исследователь сознания, заявил, что оно «по-прежнему далеко и может быть вообще невозможно. Но даже если это маловероятно, было бы неразумно полностью отвергать такую возможность».

Он различает интеллект и сознание. Первое — это способность делать правильное дело в нужное время, второе — это состояние, в котором мы не просто обрабатываем информацию, но «наши умы наполнены светом, цветом, оттенками и формами. Эмоции, мысли, убеждения, намерения — все это ощущается для нас особым образом».

Однако большие языковые модели ИИ, обученные на миллиардах слов человеческого письма, уже начали показывать, что они могут быть мотивированы по крайней мере понятиями удовольствия и боли. Когда ИИ, включая ChatGPT-4, было поручено максимизировать очки в игре, исследователи обнаружили, что если возникал выбор между получением большего количества очков и «испытыванием» большего количества боли, ИИ выбирали первое, как показало другое исследование, опубликованное на прошлой неделе.

https://www.theguardian.com/technology/2024/nov/17/ai-could-cause-social-ruptures-between-people-who-disagree-on-its-sentience