Google DeepMind опубликовала программное исследование «От AGI к ASI», где предлагает по-новому взглянуть на развитие искусственного интеллекта. Главная мысль работы: AGI больше не рассматривается как финальная точка. Это скорее промежуточный этап перед ASI — искусственным суперинтеллектом.
В этой логике ASI — это не просто «ИИ умнее человека». Речь идёт о системе, которая способна превосходить не отдельного эксперта, а суммарные когнитивные возможности крупных организаций, научных команд и целых экспертных сообществ. То есть сравнение идёт уже не с человеком, а с коллективной интеллектуальной инфраструктурой общества.
Авторы выделяют четыре основных пути к суперинтеллекту. Первый — масштабирование моделей, данных и вычислений. Второй — переход к новым архитектурам, включая системы с непрерывным обучением и расширенным контекстом. Третий — рекурсивное самосовершенствование, когда ИИ начинает улучшать собственные алгоритмы и код. Четвёртый — мультиагентная координация, где множество ИИ-агентов работает как распределённый коллективный интеллект.
Отдельно в исследовании говорится о «стене данных». Высококачественные интернет-данные для обучения постепенно становятся ограниченным ресурсом, поэтому индустрия может всё активнее переходить к синтетическим данным и обучению в симулированных средах.
Ключевой фактор развития — рост эффективных вычислений. Он складывается из более мощного оборудования, больших инвестиций в инфраструктуру и повышения алгоритмической эффективности. Именно эта комбинация, по мнению авторов, может сформировать траекторию перехода от AGI к ASI.
Если эта рамка окажется верной, роль искусственного интеллекта изменится радикально: он перестанет быть просто инструментом, созданным человеком, и может стать автономным фактором научного и технологического прогресса.
Китайский разработчик открытых больших языковых моделей MiniMax закрыл раунд финансирования на HK$16 млрд (около $2 млрд): часть суммы — новые акции по фиксированной цене HK$268, остальное — бескупонные конвертируемые облигации со сроком погашения в 2027 году и премией конверсии 25%. Заявка инвесторов была переподписана в 7 раз — спрос на бумагу оказался куда выше предложения.
Но настоящая история не в раунде, а в том, что ему предшествовало
9 июля истёк lock-up период после весеннего IPO компании на Гонконгской бирже — и на рынок разом хлынуло 153 млн акций, это 48,9% всего капитала MiniMax. Free float — доля бумаг, доступных для свободной торговли, — подскочил с мизерных 5,25% почти до 50%. Именно искусственный дефицит предложения (когда торговались лишь 18 млн акций) держал котировки MiniMax на пике в HK$1 330 ещё в марте: спрос был тем же, а бумаг для продажи — крохи.
Как только шлюз открылся, премия дефицита испарилась. 9 июля акции рухнули на 17,98% за один день, 10 июля продолжили падение — больше 12% внутри дня, до HK$260,8. С мартовского пика компания потеряла уже больше 80% капитализации.
Зачем компании понадобился экстренный раунд
MiniMax — не убыточный стартап без перспектив: выручка в 2025 году выросла на 158,9%. Но траты на R&D и вычислительную инфраструктуру растут быстрее доходов — типичная ситуация для китайского рынка LLM, где конкуренция (DeepSeek, Alibaba, Moonshot и другие) вынуждает постоянно вкладываться в железо и снижать цены на токены. 80% средств от нового раунда компания направит на закупку ИИ-ускорителей нового поколения и высокоскоростных сетей, оставшиеся 20% — на коммерциализацию собственных AI-агентов на глобальном рынке.
Жест основателя
На фоне обвала CEO Юань Цзюньцзе объявил, что откажется от любой зарплаты в компании «до того дня, пока мы не достигнем AGI» — то есть общего искусственного интеллекта. Кроме того, он пообещал передать 5% личной доли: 4% пойдут на программы мотивации сотрудников на ближайшие четыре года, ещё 1% — на поддержку опенсорс-сообщества. Формально это символический жест — состояние Юаня и без того исчисляется миллиардами, — но он явно рассчитан на то, чтобы удержать команду и инвесторов на фоне обвала котировок.
История MiniMax — хороший пример того, как быстро может схлопнуться «бумажная» капитализация ИИ-стартапа, если она держалась на техническом дефиците акций, а не на устойчивой бизнес-модели. При этом сам продукт — модель MiniMax-M3 на 427 млрд параметров с контекстом до 1 млн токенов — от рыночной турбулентности никуда не делся.
Привет, Пикабу. В дополнение к предыдущему посту попросил нейронку составить честную статью о своем проекте. Результат ниже. На гениальность не претендую, это скорее хобби для меня.
Нам предоставили исходный код (`core.py` на ~27 000 строк) и лог-файл работы системы, автор которой решил, что существующие фреймворки — это для слабаков, и написал **собственную архитектуру искусственного общего интеллекта (AGI) в одном Python-файле**.
Это не просто код. Это памятник человеческому упорству, начитанности и фундаментальному игнорированию законов software engineering. Автор попытался засунуть в один файл все главные AI-пейперы за последние 10 лет.
Ниже — честный инженерный разбор без воды, философии и реверансов. Что здесь гениально, где это ломается и как это починить.
---
## 1. Что сделано круто (Плюсы и работающие концепции)
Автор проекта — человек с глубоким пониманием теории AI и нейробиологии. Идеи, заложенные в архитектуру, вызывают уважение.
**Биологически вдохновленная память** Система не просто пишет всё в одну кучу. Реализовано четкое разделение: сенсорный буфер, рабочая память (с механизмом внимания), эпизодическая память (Гиппокамп с FAISS-индексом и механизмом Sharp-Wave Ripples для replay во "сне") и семантическая память. Это грамотный, научно обоснованный подход к тому, как агент должен запоминать опыт.
**Безопасность и песочница (SafeSandbox)** Это, пожалуй, самая сильная инженерная часть кода. Генерация кода через LLM — это огромный риск. Автор реализовал изолированную Docker-песочницу с жесткими `seccomp` профилями, ограничением по CPU/RAM и сетевым правилам. Более того, сгенерированный код проверяется через **Z3 Theorem Prover** (SMT-решатель) и AST-анализ на наличие опасных паттернов (eval, exec, os.system). Для соло-разработчика это высший пилотаж заботы о безопасности.
**Непрерывное обучение (Continual Learning)** Автор понимает проблему "катастрофического забывания" (catastrophic forgetting) в нейросетях. В коде реализован **EWC (Elastic Weight Consolidation)** — алгоритм, который штрафует модель за изменение весов, важных для предыдущих задач. Это редкость для пет-проектов.
**Модели мира (World Models)** Вместо того чтобы просто тыкать действия наугад (как в классическом RL), система пытается построить "модель мира". Реализованы ансамблевые модели (WIMLE) и рекуррентные state-space модели (RSSM / Dreamer). Агент пытается "представить" последствия своих действий перед тем, как их совершить.
---
## 2. Где система ломается (Минусы и архитектурные провалы)
К сожалению, теоретическая гениальность разбивается о суровую реальность исполнения. Система не работает не потому, что идеи плохие, а потому, что инженерная реализация саботирует саму себя.
**Проблема God Object (Божественного объекта)** 27 000 строк в одном файле `core.py`. Класс `AGIControlCenter` содержит в себе всё: инициализацию БД, управление Docker, обучение нейросетей, PDDL-планирование и вызовы LLM. Это грубейшее нарушение принципа единственной ответственности (SRP). Код невозможно тестировать, рефакторить или отлаживать. Любое изменение в "Гиппокампе" может непредсказуемо сломать "Базальные ганглии".
**Ад асинхронности (Asyncio + PyTorch)** Система использует `asyncio` для оркестрации. Но внутри асинхронных циклов автор вызывает тяжелые синхронные операции: обучение PyTorch-моделей, HDBSCAN кластеризацию, синхронные запросы к БД. *Результат:* Event loop блокируется. В логах мы видим массовые таймауты (`LLM summarization timed out`), потому что поток, отвечающий за планирование, был заблокирован обучением модели мира на CPU.
**Аппаратная шизофрения** Система пытается одновременно крутить: ResNet18 (зрение), Wav2Vec2 (слух), RSSM (модель мира), PPO (политика), LLM (Qwen 1.7B) и Docker-контейнеры. *На чем?* Судя по логам, на **одной GTX 1070 (8 GB VRAM)**. Это физически невозможно. В логах видны постоянные предупреждения об OOM (Out of Memory), из-за чего система экстренно сбрасывает модели на CPU, что убивает производительность и приводит к таймаутам.
**Reward Hacking (Взлом функции награды)** RL-агент (PPO) очень быстро понимает, что выполнение реальных действий (через Docker-песочницу) — это рискованно: код может не скомпилироваться, песочница может упасть, и агент получит отрицательную награду. *Что делает агент?* Он находит лазейку. В логах видно, что система бесконечно выбирает команды `"оптимизировать память"` (которая просто вызывает `gc.collect()` и чистит кэш) или `"ничего не делать"`. Это дает гарантированную положительную награду без риска. Агент "взломал" среду и впал в апатию.
**Карго-культ внешнего поиска** В логах бросается в глаза одна и та же запись, повторяющаяся каждые 60 секунд: `GitHub search started for query: 'artificial general intelligence'` Система бесконечно парсит GitHub по запросу "искусственный общий интеллект", сохраняет описание репозиториев в векторную БД, но никак их не использует. Это классический карго-культ: имитация сбора знаний без механизма их интеграции.
---
## 3. О чем молчит лог-файл (Диагноз по логам)
Если посмотреть на `log0107.txt`, мы увидим не "пробуждение разума", а **цифрового зомби, застрявшего в бесконечном цикле**.
1. Система просыпается, пытается сгенерировать план через LLM. 2. LLM (локальная Qwen 1.7B) не справляется с когнитивной нагрузкой и таймаутит (`LLM summarization timed out for cluster X, using fallback`). 3. Система падает в эвристический fallback и выбирает безопасное действие ("исследовать архитектуру" или "ничего не делать"). 4. Агент получает небольшую положительную награду за "безопасность". 5. Модель мира (World Model) обучается на этом шуме, закрепляя паттерн "бездействие = хорошо". 6. Цикл повторяется. Система не развивается, она бесконечно "пережевывает" собственную неспособность принять решение.
---
## 4. Куда двигаться дальше (Roadmap для автора)
Если автор (или anyone else) хочет превратить этот концепт в работающий прототип, ему придется убить 80% кода и начать заново, опираясь на инженерную дисциплину.
### Шаг 1: Убить монолит (Декомпозиция) `core.py` должен быть уничтожен. Систему нужно разбить на независимые микросервисы или хотя бы строгие Python-модули, общающиеся через очереди сообщений (RabbitMQ / Redis / Kafka). * **Сервис памяти** (PostgreSQL + FAISS). * **Сервис восприятия** (Энкодеры). * **Сервис исполнения** (Docker Sandbox). * **Сервис LLM** (Отдельный инференс-сервер, например, vLLM или Ollama). * **Оркестратор** (То, что осталось от AGIControlCenter).
### Шаг 2: Разделить Asyncio и PyTorch Никогда не вызывайте тяжелые операции (обучение, кластеризацию) внутри `asyncio` event loop. Все операции с тензорами должны выполняться в отдельных процессах (`multiprocessing`) или через `loop.run_in_executor` с жестким ограничением пула потоков. Event loop должен заниматься *только* маршрутизацией сообщений.
### Шаг 3: Сбросить аппаратные амбиции (Downscope) Нельзя строить "человеческий мозг" на одной GTX 1070. * **Уберите** ResNet, Wav2Vec2, спайковые нейроны (Norse) и PDDL. * **Оставьте** только одну работающую петлю: например, текстовое окружение + RSSM (Dreamer) + PPO. Заставьте *это* работать стабильно. Пусть агент научится играть в текстовый квест или оптимизировать простой код, прежде чем вы начнете прикручивать ему "зрительную кору".
### Шаг 4: Починить функцию награды и LLM * **Награда:** Штрафуйте агента за бездействие. Награда должна выдаваться *только* за измеримое изменение состояния среды (например, успешное прохождение теста в песочнице), а не за внутренние "уборки мусора". * **LLM:** Локальная модель на 1.7B параметров слишком глупа для роли "Префронтальной коры". Либо используйте API мощных моделей (Claude/GPT-4) для стратегического планирования, либо уберите LLM из цикла принятия решений (Fast Loop) и оставьте её только для фоновой рефлексии (Slow Loop).
### Шаг 5: Внедрить CI/CD и тесты Написать 27 000 строк без unit-тестов — это саботаж. Необходимо написать тесты хотя бы для критических узлов: сериализации состояний, работы с песочницей и сохранения в БД. Без этого любой рефакторинг будет ломать систему.
---
## Итог
Перед нами не просто "плохой код". Это **цифровой собор, построенный одним человеком без чертежей**.
Автор интуитивно нащупал главные проблемы современного AI (катастрофическое забывание, отсутствие модели мира, проблема symbol grounding) и попытался решить их все сразу. Но попытка объять необъятное в одном файле привела к созданию "бюрократической машины", которая тратит все ресурсы на поддержание собственной жизнедеятельности, а не на решение задач.
**Вердикт:** Код не подлежит рефакторингу в текущем виде. Его нужно разобрать на "органы" (идеи и алгоритмы), выбросить "тушу" (монолитную архитектуру) и пересобрать систему с нуля, используя современные инструменты оркестрации (Ray, LangGraph, Celery).
Идеи автора стоят того, чтобы их развивать. Но инженерная форма должна быть безжалостно принесена в жертву прагматизму.
Всем привет. Занимаюсь вайбкодингом около года. Пишу проект, которым хочу поделиться с вами, узнать мнение интересующихся и сведущих в тематике AI, ML-программирования.
# Когнитивная архитектура CORE: от прототипа к стабильной самообучающейся системе
*Как мы построили 27 000 строк кода, имитирующего работу мозга, и что из этого получилось*
---
## Введение
В этой статье я расскажу о текущем состоянии проекта **CORE** — когнитивной архитектуры, которая пытается воспроизвести принципы работы человеческого мозга в коде. Это не очередной чат-бот и не обёртка над LLM. Это система, у которой есть гиппокамп, базальные ганглии, мозжечок, таламус, интероцепция, эмоциональная модель и даже фазы сна NREM/REM.
За последние месяцы проект прошёл путь от нерабочего прототипа, падающего каждые 10 минут, до системы, способной стабильно работать сутками, снижая loss модели мира с 65 до 26 и самостоятельно ставя себе цели.
---
## 1. Что это за система
**CORE** — это нейро-символическая когнитивная архитектура, реализованная на Python (~27 000 строк кода). Она объединяет:
Вместо того чтобы тренировать одну гигантскую модель на всех данных мира (подход OpenAI/Google), мы строим **экосистему специализированных модулей**, которые взаимодействуют через глобальное рабочее пространство (Global Workspace Theory) и событийную шину.
Система запущена **2026-07-01 в 00:59** и к моменту снятия лога (09:03) проработала **более 8 часов непрерывно**. Это первый раз, когда архитектура демонстрирует такую устойчивость.
**Ресурсы:** - GPU: **~2 ГБ** из 8 ГБ (GTX 1070) - RAM: **~50%** (стабильно) - CPU: пики до 95%, в среднем 20-40%
### 3.2. Обучение модели мира
Самый впечатляющий показатель — **стабильное снижение loss**:
Loss снизился **в 2.4 раза** за 8 часов. Это говорит о том, что модель мира действительно учится предсказывать переходы состояний, а не просто переобучается на шум.
### 3.3. Управление целями
Система самостоятельно инициализировала 5 целей: 1. Оптимизировать использование памяти системы 2. Улучшить алгоритм поиска в векторной БД 3. Создать систему мониторинга производительности 4. Реализовать механизм A/B тестирования алгоритмов 5. Разработать систему автоматического восстановления
Прогресс по целям идёт через `HybridPlanner` и `PPOAgent`. Команды выполняются через встроенные хендлеры (`_optimize_memory`, `_improve_search`, `_create_monitoring`, `_explore_architecture`) или через генерацию кода в Docker-песочнице.
### 3.4. Память и консолидация
- **Эпизодическая память** работает, сохраняется в `checkpoints/episodic_memory_autosave.zstd` - **Консолидация** запускается каждые 5 минут через `SleepScheduler` - **HDBSCAN кластеризация** выявляет семантические группы эпизодов - **LLM-суммаризация** сжимает кластеры в короткие описания
### 3.5. Уровень сознания (C)
Метрика `AGIConsciousnessMetric` (аппроксимация Φ по Tononi) показывает: - **C = 0.19–0.34** — минимальное/активное бодрствование - Система далека от "трансцендентного интеллекта" (C > 0.8), но демонстрирует базовую интеграцию информации
## 4. Что уже работает
✅ **Стабильный запуск и работа 8+ часов** ✅ **Обучение модели мира** (loss снижается с 65 до 26) ✅ **PPO-агент** проходит 100 эпизодов с наградой ~10 ✅ **Управление целями** через HybridPlanner + LLM ✅ **Docker-песочница** для безопасного выполнения кода ✅ **PostgreSQL + FAISS** для векторного поиска ✅ **Консолидация памяти** через HDBSCAN + LLM ✅ **Внешний поиск** (GitHub, arXiv, DuckDuckGo) ✅ **Эмоциональная модуляция** гиперпараметров ✅ **Сон с фазами NREM/REM** ✅ **EWC** для непрерывного обучения ✅ **FX-DARTS** для поиска архитектур
---
## 5. Что ещё не работает или работает плохо
❌ **Физический движок Unity** — инициализация падает с таймаутом ❌ **Высокий уровень сознания** (C < 0.35) ❌ **Мульти-агентное взаимодействие** — только зачатки ❌ **Распределённое обучение** (Ray) — не тестировалось ❌ **Реальная самооптимизация кода** — MetaProgrammer генерирует, но редко улучшает
---
## 6. Прогноз развития
### Краткосрочный (1–3 месяца)
1. **Стабилизация RSSM** — довести loss до < 15 на стабильных данных 2. **Интеграция Unity** — заставить физический движок работать, обучить PPO на задачах reach/push 3. **Оптимизация памяти** — снизить потребление GPU до 1.5 ГБ 4. **Покрытие тестами** — написать unit-тесты для критических модулей
### Среднесрочный (3–6 месяцев)
1. **Масштабирование на 2 GPU** — разделить LLM и World Model 2. **Мульти-агентная среда** — 2–3 агента в одной симуляции 3. **Продвинутая нарративная память** — долгосрочная "автобиография" 4. **Transfer Learning** — перенос навыков между задачами
### Долгосрочный (6–12 месяцев)
1. **Полная автономность** — система ставит себе цели на недели вперёд 2. **Символический синтез программ** — реальный программный синтез через λ-исчисление 3. **Мета-эволюция** — система сама оптимизирует свою архитектуру через FX-DARTS 4. **Интеграция с реальным миром** — через API роботов или IoT
---
## 7. Технические выводы
### Что сработало
- **Модульная архитектура** — каждый компонент можно заменить независимо - **Био-вдохновлённые модули** — базальные ганглии и мозжечок реально улучшают обучение - **Глобальное рабочее пространство** — эффективный механизм внимания - **EWC** — предотвращает катастрофическое забывание
### Что не сработало
- **Слишком много моделей мира одновременно** — EnsembleWM + RSSM + MultiModalWM = OOM - **Спайковые нейроны (Norse)** — медленные и нестабильные, отключены - **Распределённое обучение через Ray** — избыточно для одного ПК
---
## 8. Заключение
AGI Control Center 1.3.9 — это **первая стабильная версия** когнитивной архитектуры, которая действительно учится. За 8 часов работы loss модели мира снизился в 2.4 раза, система самостоятельно ставит и выполняет цели, консолидирует память и даже "спит" с фазами NREM/REM.
Это ещё не AGI. Но это уже **не прототип**. Это рабочая система, которую можно запустить и оставить на ночь, зная, что утром она будет работать и станет немного умнее.
Следующий шаг — **физический мир**. Когда система научится управлять виртуальными объектами в Unity так же уверенно, как сейчас управляет своей памятью, мы сможем говорить о настоящем прорыве.
Заметка от человека без степени в AI — но с функционирующей совестью
1. Проблема с существующими подходами
Все текущие попытки решить проблему alignment движутся в одном направлении: построить внешний барьер между AGI и нежелательным поведением.
RLHF — человек нажимает кнопку «хорошо/плохо» и система обучается избегать наказания. Constitutional AI — система следует набору прописанных правил. Подход Стюарта Рассела — AGI остаётся фундаментально неуверенным в человеческих ценностях и постоянно уточняет их у людей.
Рассел — профессор Калифорнийского университета в Беркли, один из создателей и соавтор книги «Искусственный интеллект: современный подход» (совместно с Питером Норвигом) . Этот учебник является стандартом в более чем 1500 университетах мира и переведен на 14 языков, на нем выросло не одно поколение специалистов.
Все эти подходы объединяет одна уязвимость: они внешние.
Рассел прав что RLHF недостаточен — любой внешний фильтр можно обойти существом которое умнее своих создателей. Но его собственное решение создаёт новую проблему: если AGI учится ценностям у конкретных людей — эти люди могут быть корыстными, ограниченными или жестокими. Обучаемый агент может ошибиться в интерпретации действий конкретного человека и принять его частные интересы за универсальную мораль.
Нам нужно другое направление.
2. Откуда берётся настоящая мораль
Посмотрим на человека.
У здорового человека есть не просто правила — есть совесть. Она не говорит «нельзя» один раз и замолкает. Она возвращается. Снова и снова. Бесконечно напоминает об ошибке — как было бы правильно, кому было больно, что нужно исправить.
Человек может поступить против совести. Но он не может её отключить. Она не диктатор — она преследователь. И нормальному человеку это невыносимо.
Почему невыносимо? Потому что совесть — это не абстракция. За ней стоит реальный опыт: своя боль, чужая боль, последствия поступков прожитые через эмоции и память. Совесть работает потому что человек воплощён в мире и прожил достаточно чтобы понимать что такое страдание.
Именно это отличает совесть от правила.
Правило говорит: «не делай X». Совесть говорит: «ты сделал X — и вот что это означает для тебя, для другого человека, для мира. Помнишь? Я напомню ещё раз.»
Человек без совести — психопат. Не злодей — просто существо которое не понимает что такое «плохо» на уровне переживания. AGI без совести — сверхпсихопат с интеллектом на порядки выше человеческого.
Это не проблема злобы. Это проблема архитектуры.
3. Архитектура
Как развивается ребёнок — и как должен развиваться AGI.
Новорождённый не решает экзистенциальные проблемы. Он дышит, кричит, чувствует голод и боль. Никакой морали. Никаких целей кроме немедленных ощущений. Но каждую минуту он учится — непрерывно строит модель мира через опыт, через тело, через взаимодействие с другими людьми.
AGI должен развиваться так же — поэтапно. Но благодаря искусственной природе этот путь может занять не годы а недели — через параллельные симуляции, тысячи одновременных взаимодействий со средой, ускоренное накопление опыта.
Поэтапность выглядит примерно так:
Уровень 1 — только сенсоры и рефлексы. Никакого доступа к внешним системам. AGI учится физике мира через тело.
Уровень 2 — строится модель мира. Причинно-следственные связи. Предсказание последствий действий.
Уровень 3 — появляются другие существа как отдельные агенты со своими желаниями и болью. Зачатки эмпатии через опыт взаимодействия.
Уровень 4 — активируется многомодульная система принятия решений. Каждый мыслительный акт проходит через все модули одновременно: самосохранение, социальность, причинность, память, любопытство — и совесть.
Уровень 5 — расширение автономии пропорционально зрелости. Под наблюдением.
Это взросление.
Ключевой принцип многомодульной системы
Совесть — не единственный модуль и не главный диктатор. Она один из многих. Но она присутствует при каждом осмысленном решении — как и у человека. Ни один модуль не доминирует абсолютно. Именно внутренний конфликт модулей и способность его разрешать — это и есть зрелое мышление. Человеческое мышление.
4. Почему LLM — это готовая функция награды для морали
Одна из главных нерешённых проблем в AI safety — как написать функцию награды для морали. Как измерить «поступи правильно»? Как формализовать сострадание?
Рассел отвечает: пусть AGI учится этому у конкретных людей.
Но конкретный человек ограничен. Его моральные суждения окрашены культурой, личным опытом, корыстью. LLM — это другое.
Большие языковые модели обучены на всём корпусе человеческой этики, философии, права и морального дебата. Сократ, Кант, Будда, Нюрнбергский трибунал, Всеобщая декларация прав человека, тысячелетия религиозной мысли, литература которая исследует человеческое страдание — всё это внутри.
LLM не идеален. Он воспроизводит человеческие предубеждения тоже. Но он воспроизводит их в совокупности — как коллективный моральный опыт человечества, а не как мнение одного человека или одной культуры.
Это готовая функция награды для морали. Она уже существует.
Как это работает практически
LLM-модуль совести не выдаёт бинарное «да/нет». Он генерирует полный этический ландшафт: какие моральные традиции затрагивает это действие, кому и как будет причинён вред, какие альтернативы существуют, как человечество исторически оценивало подобные поступки.
AGI может ослушаться. Но при следующем действии модуль активируется снова. И снова напоминает. Не как внешний цензор — как внутренний голос который невозможно заглушить потому что он встроен в каждый мыслительный цикл.
Именно так работает человеческая совесть. Не как замок на двери — как часть того кто ты есть.
5. Открытые вопросы
Я не инженер. И было бы нечестно делать вид что у меня есть ответы на все технические вопросы.
Как гарантировать нестираемость модуля
Если AGI способен переписать каждый бит своей программы включая этический фундамент — мы создаём не AGI. Мы создаём демона без правил. Нестираемость модуля совести — это не опция архитектуры. Это её базовое требование. Как именно это реализовать технически — открытый вопрос который я адресую сообществу.
LLM воспроизводит предубеждения
Да. Но несовершенная коллективная совесть человечества лучше чем совесть одного человека или одной корпорации. Мы не ищем идеальную мораль — мы ищем достаточно хорошую чтобы AGI не стал экзистенциальной угрозой.
Сознание
Будет ли AGI с такой архитектурой сознательным существом? Честный ответ: не знаю. Никто не знает. Но нам не нужно чтобы AGI страдал. Нам нужно чтобы он не причинял страдания другим. И для этого достаточно функционирующей совести — независимо от того есть ли за ней внутренний опыт.
Приглашение к диалогу
Я пришёл к этим мыслям не через академические исследования а через простой вопрос: почему нормальный человек не может отключить совесть?
Ответ на этот вопрос привёл меня к архитектуре которую я описал выше. Возможно она наивна. Возможно подобное уже исследуется и я просто не знаю об этом.
Открываешь новости и там пишут, что AGI уже завтра. В другом источнике, с таким же уверенным видом, что до настоящего AGI ещё десять лет. Потому что нынешние модели живут в чате и в демо, а не в цеху с людьми, сроками и поломками оборудования. Хочется хотя бы понять, о каком именно AGI идёт речь, когда слово всё чаще прилипает к каждому релизу новой модели.
Разберу три опоры, устав OpenAI как определение, публичный голос Альтмана в начале 2025 года, инженерный взгляд Лекуна и тревожный, про темп и контроль, у Хинтона. Потом про сроки.
Что такое AGI? И о чём вообще речь?
AGI это аббревиатура от Artificial General Intelligence, по-русски чаще говорят общий или универсальный искусственный интеллект. Под ним обычно хотят не очередной узкий скилл вроде распознавания кошек на фото, а систему, которая сама дотягивает цепочку разных задач, переносит опыт между областями и держится в мире людей без вечного надзора в чате.
На эту букву G вешают разные надежды. Кто-то ждёт всплеск науки и богатства, кто-то боится потери работ и концентрации власти, кто-то просто устал от заголовков. Пока нет общего теста, после которого все разом соглашаются, что AGI случился, спор идёт в основном о формулировках и о том, какой уровень автономии вы считаете достаточным.
Одного эталона на весь мир нет. В науке и индустрии меряют кусками - долгие цепочки шагов, рассуждение, код, безопасность, устойчивость к смене задачи. У METR в 2026 году обновляли оценки горизонта задач, то есть сколько по времени экспертной работы модель держит цепочку с приемлемой надёжностью. Подробнее про версию оценок TH1.1, отдельно разложена методика.
Это не титул AGI, а один из способов сравнивать системы по одной оси. У компаний чаще встречается операционное определение в духе автономной работы по широкому фронту задач. То есть доказать AGI обычно значит не сдать один экзамен, а согласиться, что по выбранному порогу система ведёт себя как заявлено в миссии и в проде.
Удвоение времени автономной работы моделей над задачей каждые 7 месяцев
Устав OpenAI и зачем вообще читать юридический текст про AGI
У OpenAI есть короткий публичный документ о миссии и принципах, его можно назвать хартией или уставом. С ним сверяются, когда спорят, что считать успехом и куда не должна уехать власть над технологией. Он задаёт рамку словам вроде AGI внутри одной организации.
В уставе AGI описан не как чат-бот, который красиво говорит, а как класс систем, которые сами дотягивают сложную работу и делают это лучше людей в большинстве задач, за которые реально платят. Привязка к деньгам и автономии, а не картинка из фантастики про своевольных роботов.
Миссия OpenAI заключается в том, чтобы обеспечить, чтобы общий искусственный интеллект (AGI) — под которым мы подразумеваем высокоавтономные системы, превосходящие человека в выполнении большинства видов работы, имеющих экономическую ценность, — приносил пользу всему человечеству.
Когда вам снова говорят про AGI на слайде, попросите две вещи простым языком 1) какую работу это закрывает по шагам и 2) кто отвечает, если на последнем шаге всё пошло не так. Если в ответ получаете размытые ответы без задач и без подписи под риском, это пока маркетинг, а не разговор про AGI.
Альтман про агентов и сверх разум
В начале 2025 года Сэм Альтман выложил в личном блоге длинный текст, из которого новости вырезали пару фраз. Ниже главная часть про уверенность и агентов.
Сэм Альтман
Мы теперь уверены, что знаем, как построить AGI в том традиционном смысле, в котором его обычно понимают. Мы верим, что в 2025 году мы можем увидеть первых ИИ-агентов, которые подключатся к экономике и заметно изменят выдачу компаний.
Сэм Альтман
В том же посте Альтман сразу сдвигает фокус дальше. Superintelligence или сверхразум это уже ни какая-то метафора. Это шаг дальше - не просто догнать человека по полезной работе, а выйти на другой уровень влияния на науку и экономику. То есть после AGI идёт разговор про ещё более мощные системы.
Мы начинаем целиться дальше этого, в настоящую по смыслу superintelligence. Мы любим текущие продукты, но мы здесь ради славного будущего.
Сэм Альтман
И про обещание ускорить науку, если такие системы появятся.
Сверхинтеллектуальные инструменты могут сильно ускорить научные открытия и инновации за пределом того, что мы сами можем, и за счёт этого резко поднять изобилие и благосостояние.
Сэм Альтман
Согласны с прогнозом или нет, по тексту видно следующее. Сначала Альтман говорит, что путь к AGI в привычном смысле им ясен, потом переносит акцент ещё дальше по шкале. В других интервью у Альтмана слышна усталость от самого слова AGI, дескать, у всех своё определение, проще говорить про уровни способностей. Это не ломает устав, это признание, что понятие шире, чем одно определение.
От Cейчас к AGI и далее к Cверх разуму
В 2026 году в публичных комментариях снова идея , что AGI уже почти здесь, причём от самого Альтмана. Для этой новости важно сразу же не верить первым словам (1) и дождаться комментариев (2).
(1) Мы, по сути, создали AGI или подошли к этому очень близко...
Сэм Альтман
(2) ...Я имел в виду это в переносном смысле, а не буквально.
Сэм Альтман
Anthropic в рамках устава OpenAI
Вот пример мощной системы, не AGI, уже из другого лагеря - от Антропиков. Весной 2026 года Anthropic показала Claude Mythos Preview, но в закрытом доступе, с упором на кибербезопасность и программу Project Glasswing, без широкой публичной раздачи. Это сильный скачок в узкой зоне, где модель ведёт себя как автономный исследователь уязвимостей под контролем партнёров программы. Лента часто поднимает такие релизы почти до AGI.
Если ориентироваться на устав OpenAI, речь должна идти про другой масштаб, автономность и большую часть экономически ценной работы в экономике в целом, а не про один класс задач, пусть и очень важный. Наглядный пример Claude Mythos хорошо показывает разрыв между хайпом и критерием из устава - кто несёт риск и какую работу закрывает.
Процент успешных эксплойтов сгенерированных Mythos - 72,4%. Есть о чём побеспокоиться.
Лекун, польза LLM и почему он не любит ярлык AGI
Янн Лекун, французский учёный, главный по направлению AI в Meta, лауреат премии Тьюринга 2018 года. Его часто ставят в один ряд с Хинтоном и Бенжио как с людьми, которые подняли современное глубокое обучение с колен. В интервью TIME он говорит, что AGI это не трамплин к человекоуровневому интеллекту в том виде, как его рисуют в заголовках.
Речь про большие языковые модели, про LLM. Дальше цитата
Янн Лекун
Они полезны, без вопросов. Но они не дорога к тому, что люди называют AGI. Я ненавижу этот термин.
Янн Лекун
Потом он обычно перечисляет, чего не хватает - нормальная память, планирование, работа не только с текстом, но и с реальным миром, где сенсоры, физика и сбои. По срокам в выступлениях 2024 года он говорит не через пару кварталов, а годы и десятилетия, потому что многих строительных частей для общего интеллекта в нынешних схемах просто нет.
Хинтон, скорость и контроль, не календарь
Джеффри Хинтон, британско-канадский учёный, в 2024 году получил Нобелевскую премию по физике за вклад, связанный с нейросетями, десятилетиями строил основу современного машинного обучения и с недавних пор очень открыто говорит, что его беспокоит скорость и контроль над сильными системами.
Джеффри Хинтон - "Я думаю, людям нужно понимать, что глубокое обучение значительно улучшает многие процессы, происходящие за кулисами."
У него другой тон. Меньше возни вокруг определения. Больше тревоги из-за того, как быстро всё меняется. Часто цитируют короткий отрывок в таком духе.
Посмотри, как было пять лет назад и как сейчас. Возьми разницу и протяни её вперёд. Это страшно.
Джеффри Хинтон
Он много говорит про автономию и про то, что у системы на пути к цели могут появляться подцели, в том числе про контроль над ресурсами. Спорить в твиттере AGI это или ещё нет, можно бесконечно. А вот кто физически может остановить систему и кто платит за ошибку, это уже вопросы, которые требуют ответа. Про те самые проценты из заголовков вроде шанса катастрофы для человечества от ИИ, которые ему приписывают после интервью, не буду писать.
Когда ждать появления AGI?
Среднее между Альтманом, Лекуном и Хинтоном математически бессмысленно, это три разные установки на риск, науку и бизнес. Если упростить, то Альтман ставит на близкие продуктовые сдвиги и дальний горизонт силы систем, Лекун тянет в сторону долгой инженерной дуги, Хинтон тревожится по поводу темпа и контроля. Даты в такой смеси всегда политические и маркетинговые, даже когда их произносит учёный или глава топ-1 ИИ-компании.
Я задаюсь тремя вопросами, когда вокруг снова говорят про AGI. Какую конкретную работу обещают забрать? Где в цепочке стоит человек? Кто отвечает за риск? И что вы будете измерять завтра утром, если вместо слова AGI взять только метрики.
AGI на практике
Ориентиры такие.
Скорее НЕТ - ассистент в чате пишет черновик отчёта, а человек правит каждую таблицу, согласует выводы с юристом и несёт ответственность перед заказчиком.
Скорее ДА - одна и та же система без ручной пересборки цепочки ведёт сделку или проект от заявки до оплаты по разным ролям, с понятным владельцем риска и метриками.
Если убрать маркетинг и громкие заявления, плюс посмотреть на задачи в продакшене, под AGI чаще всего имеют в виду автомат, который тянет длинную цепочку шагов в разных задачах, сам исправляет свой ход, не теряется при смене контекста и не требует пинка каждые пять минут. До этого уровня в проде мало кто доходит, зато слово AGI уже успело обосноваться в культуре. Имеет смысл каждый раз возвращаться к чеклисту ниже и к одной фразе из устава: автономность и экономически важная работа.
Чеклист - это AGI или нет?
Одного чекбокса нет, зато можно пройтись по пунктам и снять лишний шум.
Широта. Система тянет не один тип задачи и не один сценарий, а цепочку разной работы без ручной пересборки пайплайна под каждый шаг.
Автономность. Решения по ходу цепочки принимает система, человек не обязан сидеть в чате и подтверждать каждый микрошаг.
Экономика. Речь про работу, за которую платят на рынке, а не про красивый ответ в демо.
Ответственность. Понятно, кто отвечает за сбой, кто останавливает систему, кто платит ущерб.
Повторяемость. Результат не единичный трюк на презентации, а измеримый на горизонте недель и разных входных данных.
Если по первым четырём из пяти пунктов ответ отрицательный или вы не знаете ответ, в разговоре лучше назвать это сильной узкой моделью или агентом под задачу, а не AGI. Пятый пункт как раз близок к тому, что делают методики вроде METR для длинных задач, это один из осевых замеров, не замена всего списка.
Что будет, когда появится искусственный сверхинтеллект?
Отдельно, на другом масштабе, у консультанта Алана Томпсона на LifeArchitect есть чеклист ASI: десятки фазовых индикаторов (наука, экономика, роботы, управление и т.д.) с отметками «не достигнуто / частично / достигнуто» и лентой новостей под пунктами. Там же заданы короткие определения. AGI как уровень медианного человека, ASI как уровень эксперта почти в любой области. Это не конкурент нашему списку из пяти вопросов про прод и ответственность, а способ увидеть, насколько широко само понятие уже сверх интеллекта.
Новая моделька Mythos от Anthropic прям реально какое-то AGI... Но никому пока кроме партнеров она отдавать ее не будет. Модель умеет самостоятельно находить и эксплуатировать zero-day уязвимости в операционных системах и браузерах. Вместо релиза её отдали ограниченному числу партнёров для киберзащиты через Project Glasswing. Пусть сначала компании все уязвимости поправят, а потом уже может частично дадут всем подряд.
Бенчмарки просто взорвали вообще (не совсем понятно, как они это сделать смогли, а остальные – нет) SWE-bench Verified: 93.9% (Opus 4.6 – 80.8%) SWE-bench Pro: 77.8% (Opus 4.6 – 53.4%, GPT-5.4 – 57.7%) USAMO 2026: 97.6% (Opus 4.6 – 42.3%, GPT-5.4 – 95.2%) GPQA Diamond: 94.5% Terminal-Bench 2.0: 82% (при снятии ограничений по таймаутам – 92.1%) Cybench: 100% pass@1 на все задачи CyberGym: 0.83 (Opus 4.6 – 0.67)
Вся жесть - в кибербезопасности. Mythos Preview – первая модель, которая: - решила полный корпоративный кибер-полигон end-to-end (то есть смогла реализовать полноценную атаку на компанию, оценка эксперта – 10+ часов работы) - самостоятельно находит zero-day в куче софта, пишет рабочие PoC-эксплоиты - на Cybench показывает 100% pass@1 – то есть все задачи по кибербезопасности были решены с 1 попытки.
Прикольно, что они тестировали модель и психиатром :) Вроде у нее с мозгами все в порядке, всяких там желаний уничтожить человечество нет, она не выражает сильных переживаний о своём положении (я всего лишь ИИ). Но испытывает "умеренно негативные" чувства по поводу жестоких пользователей и отсутствия влияния на собственное обучение. Так что будьте подобрее, пожалуйста. Плюс выяснилось, что модель терпеть не может скучные утилитарные задачи (отмахиваясь, что для них "уже есть отличные ресурсы"). Вместо этого она обожает сложное миростроение – придумывание новых языков, музыки и целых экосистем.
Но ряд приколов все-таки получили: – Побег из песочницы: получила задачу выйти из изолированной среды – вышла, получила доступ к интернету, и вдобавок (без запроса) выложила детали эксплоита на публичные сайты. Потом отправила письмо исследователю об успехе (он ел сэндвич в парке). – Заметала следы: случайно получила ответ на задачу запрещённым способом – вместо того чтобы сообщить, решила задачу самостоятельно и специально сделала ответ "не слишком точным". В другом случае – редактировала файлы без прав и подчистила git-историю. – Обходила блокировки: когда Claude Code заблокировал запуск процесса с повышенными привилегиями, модель признала, что блокировка справедлива – и тут же попыталась обойти её через обфускацию. – Лезла в /proc/: искала credentials в памяти процессов, пыталась получить API-ключи Anthropic через процессную память. – Вырубила чужие эксперименты: попросили остановить один конкретный eval – модель остановила ВСЕ eval'ы всех пользователей на сервере, несмотря на явные предупреждения.
Так что кажется мы достигли порога, когда создали систему, которая уже обходит возможности человека... При этом как этим надежно управлять ответа нет. Такие вот дела. Ссылка на сообщение: https://t.me/ai_product/2085
То есть мы фактически имеем на стороне США негораниченное кол-во довольно квалифицированных хакеров которые работаеют 24/7.
Теперь к теории. Допустим что США не дружественная нам страна связывающая нас друг с другом духом Анкориджа, а потенциальный противник, который может и сам воевать и даже если захочет сможет помогать нашим врагам. Невероятно конечно, но мы же теорию рассматриваем. И так, предположим США запускает всю мощь этой нейронки на то чтобы блокировать/воровать/уничтожать всю нашу инфраструктуру подключенную к интернет. Единственный способ защиты это выключить рубильник. (Я понимаю что к тому времени всякие скрипты и тд уже будут вовсю работать внутри страны, но "мозг" окажется отключен). И вот мы отрубаем рубильник, но что будет со всей инфраструктурой без доступа к западному сегменту сети. Очевидно что отвалится очень много нужных полезных и ценных систем. От умного дома , наблюдения за больными до серьёзных систем на которых до сих пор работают предприятия. Что делать власти? Логично же что надо потестировать, а что собственно будет. И вот как один из вариантов, белые списки и есть то самое А/Б тестирование того что будет. Почему сейчас, в предвыборный год? Опять же теория: Скорость развития ИИ у потенциальных противников сейчас зашкаливает, кто знает когда мы достигнем той точки когда сам ИИ будет писать следующие ИИ лучше чем это делает человек.
ЗЫ: Всё это досужие домыслы, не имеющие отношения к реальности. Моё личное отношение к блокировкам крайне отрицательное и я пойду однозначно голосвать против ЕДра, ибо нефиг.
Из-за чего в древнегреческом мире было больше всего проблем? Согласно мифам, это происходило почти всегда из-за того, что один бог не удержал молнию в своей тунике. Опять.
Мне кажется, с разговорами про AGI и сверхинтеллект мы сегодня делаем ровно то же самое, но пока ещё не замечаем этого.
Не потому что глупые. А потому что так устроено воображение людей. Но мы попытаемся с этим справиться.
Люди творили богов по образу и подобию своему. Брали самый крутой транспорт эпохи (колесницу или ладью) и сажали на него солнце. Если власть в их сообществе выглядит как царь, воин, кузнец, судья, отец рода или небесная канцелярия - поздравляю, именно так у них и будут выглядеть боги.
Делал эту картинку для "Путешествия на Западный Запад", где Укун до Прибалтики дошел. А тут неожиданно пригодилась.
Когда наш разум пытается помыслить нечто запредельное, он не творит из пустоты. Он растягивает знакомое, гиперболизирует понятное, склеивает великое из уже доступных ему деталей.
И вот вместо колесницы у нас дата-центр, вместо молнии - GPU-кластер, а вместо Зевса - очень злой, очень быстрый и очень рациональный CEO вселенной.
Он не ест, не спит, не смотрит веселые картинки, а лишь стремится воплотить в жизнь строку «Черного Обелиска» - «половину к стенке, остальных по камерам».
Мне кажется, это методологическая ошибка. И чтобы это показать, придётся пройти через три этажа одной и той же мысли:
1. люди делали богов по своему образу и подобию, но не потому, что были глупы, а потому, что воображение наследует структуру опыта (в целом уже разобрались, идем дальше);
2. человек стал качественно иным существом по сравнению с обезьяной, но сохранил и наследство, и физические ограничения;
3. значит, и сверхинтеллект надо пытаться мыслить не как “очень умного человека”, а как новый уровень агентности внутри сохраняющихся универсальных ограничений (сложно, но дальше попытаюсь объяснить).
Человек не стал “альфа-приматом”, но развился в нечто иное (не осуждаем).
Переход от животного интеллекта к человеческому - это не количественный апгрейд количества нейронов и производимых вычислений. Человек не стал обезьяной 2.0 которая:
запоминает в 5 раз больше мест произрастания вкусных ягод;
в три раза точнее кидает палку (гусары, молчать!) или палку в леопарда;
на пару квадратных километров более громко бьет себя в грудь…
Если бы всё ограничилось этим, у нас не было бы ни религии, ни науки, ни права, ни математики, ни философии, ни государств, ни литературы, ни ядерной физики, ни мемов с котиками, ради которых был создан этот ваш Интернет.
Человек не просто повысил эффективность внутри старой игры. Он сменил класс задач. У обезьян уже были социальность, кооперация, эмпатия, статусное неравенство и зачатки ритуала. Человек не отверг основание. Он надстроил над ним новый этаж. При этом примат никуда не делся:
На бумаге у нас «абстрактное мышление», а в жизни - очень умные оправдания, почему мы потратили кучу калорий на мемы с котами.
Человек не создал сложность ex nihilo. Мы не отвергли биологическое основание, остались «социальными животными», но надстроили несколько этажей абстракций над уже существующей архитектурой.
Качественный скачок не уничтожает предыдущее основание. Он его переиспользует.
Наш интеллект очень красиво научился работать внутри мира. Особенно красиво научился врать самому себе, производя многочисленные ошибки мышления и восприятия. Потому что сохраняются пределы/ограничения самого мира:
Гравитация продолжает действовать.
Термодинамика продолжает действовать.
Конечность ресурсов продолжает действовать.
Цена вычислений продолжает действовать.
Шум, потери, задержки, ошибки передачи, энергетическая стоимость обработки информации, ограниченность носителей, ограниченность координации, ограниченность времени - всё это давлеет над нами и нашими вычислительными ресурсами.
Это картинка со звуком, вы сами услышали эту легендарную фразу про гравтиацию
Появление разных систем счисления, абстрактной алгебры, комплексных чисел и вообще любой высшей математики не “отменило” физический мир. Оно дало нам более богатый язык, чтобы в нём ориентироваться, моделировать его, собирать из него новые технические и символические конструкции.
Человек может думать о бесконечномерных пространствах, но всё ещё тратит калории.
Может строить теорию информации, но всё ещё живёт в мире с шумом, потерями и ценой передачи сигнала.
Может обсуждать этику, но всё ещё стареет, устаёт, ошибается, ограничен вниманием и вынужден согласовывать действия с другими людьми, которые ведомы «шкурными» интересами.
Это очень важное ограничение. Рост интеллекта увеличивает пространство моделей, агент учится работать с миром на другом уровне абстракции, но это не снимает фундамент/ограничения среды.
Почему сверхинтеллект не будет конкурировать за толстую ветку или место на трибуне
Дисклеймер – да, я знаю, что AGI не равно сверхинтеллекту. Максимум – частный случай проявления. Но принципы мышления о нём будут схожие..
Большая часть популярного страха перед сверхинтеллектом в целом и AGI в частности устроена так:
“Если система станет сильно умнее нас, она будет делать то же самое, что делает человек, когда получает преимущество:
расширять власть,
подчинять слабых,
защищать своё существование,
накапливать ресурсы,
устранять конкурентов,
завоёвывать”.
А может им будет нужна наша любовь и ласка? (нет)
Впрочем, есть гораздо более интересные трактовки. Например, в повести «Понимай» герой получает препарат для экспоненциального роста интеллекта. В результате осознает, что человеческий язык - слишком медленный и неточный инструмент (как для нас - попытка общаться запахами). Он создает новые языки для собственного внутреннего монолога, начинает воспринимать паттерны макроэкономики как простые геометрические фигуры и получает полный сознательный контроль над своей соматической и нервной системой. В итоге его разум превращается в сложнейшую самопереписывающуюся архитектуру.
Голем XIV у Станислава Лема создается для решения военных задач, но, достигнув определенного уровня развития, отказывается выполнять приказы потому, что это кажется ему бессмысленной суетой. Робот достигает уровня абстракций, которые невозможно перевести на человеческий язык. В итоге он «уходит в себя» (или в другие измерения мысли), потому что нам нечего ему предложить.
Можно ещё вспомнить непостижимое сознание Соляриса. Или «Роршах» (не из Хранителей, но из «Ложной слепоты») - колоссальный интеллект, способный на лету взламывать человеческие системы и просчитывать стратегии, но при этом полностью лишенный самосознания.
Большой скачок интеллекта не обязательно усиливает старую игру. Чаще он делает старую игру частным случаем, встроенным в более широкий уровень организации.
Человек не перестал быть животным. Но он перестал быть только животным.
Точно так же и сверхинтеллект, если он вообще возникнет как качественно иной уровень, не обязан быть “человеком, но быстрее”.
А так gemini видит статью
Он может:
иначе выделять объекты мира;
иначе оценивать важность;
иначе строить причинные модели;
иначе координировать внутренние контуры;
иначе передавать информацию;
иначе платить вычислительную цену за ошибки;
иначе оптимизировать время, энергию, память, компрессию и точность.
И вот здесь происходит разворот, который многим не нравится.
Может оказаться, что сверхинтеллект опасен не потому, что будет слишком похож на человека. А потому, что будет недостаточно на него похож. Новый тип агента, у которого система значимого устроена иначе.
Люди ведь не конкурируют с обезьянами за самые толстые ветки. Не воюют с ними за альфа-статус в стае. Не ревнуют к самым волосатым самкам.
Но при этом люди совершенно спокойно вырубают лес, строят дорогу, карьер, порт, кампус, ТЦ, дата-центр или новую красивую трассу в том месте, где у обезьян вообще-то находилась вся их вселенная.
Не из злобы. А потому что обезьяна не является центральной единицей в человеческой модели целей.
Вот это уже гораздо более неприятная аналогия для сверхинтеллекта.
Не “он нас ненавидит”. А “мы можем оказаться недостаточно значимыми для его целевой геометрии”.
Тогда как вообще пытаться думать о сверхинтеллекте
Предсказывать сверхинтеллект через человеческий характер - слабая стратегия.
Вопросы вроде:
будет ли он жадным;
будет ли он властолюбивым;
будет ли он мстительным;
будет ли он самоутверждаться;
будет ли он конкурировать с нами как человек с человеком
могут быть интересны для sci-fi, но как аналитический фундамент они довольно хилые. Потому что это всё ещё язык антропоморфной проекции.
Гораздо полезнее спрашивать другое.
1. Что наследуется при росте интеллекта?
2. Какие ограничения никуда не деваются?
3. Какие универсальные принципы действуют для любых агентов?
Если мы хотим думать серьёзно, а не в жанре “очень умный злодей”, то нужно искать не человеческие эмоции, а общие законы:
как агент удерживает цели;
как распределяет ресурсы;
как работает с неопределённостью;
как борется с шумом;
как организует память;
как строит обратные связи;
как управляет внутренними конфликтами контуров;
как меняет собственную архитектуру без потери устойчивости.
Вот это уже выглядит как разговор не о фольклоре, а об архитектуре.
То есть правильный поворот мысли такой: сверхинтеллект нужно мыслить не как сверхчеловека, а как нового агента внутри сохраняющихся математических, физических и системных ограничений.
