Меня зовут Андрей Кузьминых, я технологический предприниматель, ex-директор по данным и ИИ в Сбере. Объясняю, как работают все эти ИИ-чудеса, комментирую новости и рассуждаю о будущем индустрии.
TG: https://t.me/andre_dataist
Сегодня 60% учителей в США уже применяют ИИ в своей работе, а само образование меняется в сторону «непрерывного обучения» — приобретения новых знаний и навыков на протяжении всей жизни.
Хотя образование становится доступнее, для одних учебный материал усваивается слишком медленно, для других — быстро. Может ли ИИ помочь эффективнее обучать нас?
Таксономия Блума — система классификации образовательных целей, в рамках которой ИИ помогает на каждом уровне:
• Запоминание. На базовом уровне ученики должны запомнить факты, термины и основные идеи. ИИ помогает создавать карточки с главными тезисами и интерактивные квизы, а также генерировать короткие ролики, которые лучше привлекают внимание детей.
• Понимание. Учащиеся должны уметь объяснить полученную информацию. ИИ помогает перефразировать сложные определения простыми словами и генерировать краткую выжимку из статей. А создание инфографики с помощью ИИ позволяет визуализировать сложные понятия, облегчая процесс осмысления. Также ИИ прямо на лекции поясняет студентам материал, заполняя «точечные» пробелы в знаниях.
• Применение. Студенты используют полученные знания на практике. ИИ моделирует виртуальные эксперименты (например, по химии или физике), подстраивается под скорость обучения и персонализирует задания. Так, задачи по математике можно давать в контексте, интересном ребенку (например, с персонажами любимого мультфильма).
• Анализ. На этом уровне учащимся необходимо разделять информацию на составляющие части, уметь выявлять взаимосвязи и делать выводы. Тут ИИ может задавать уточняющие вопросы, помогая развивать критическое мышление и аналитические навыки.
• Синтез. Студенты объединяют полученные знания для создания нового информационного продукта: эссе, проекта или исследовательской работы. Тут ИИ помогает составить структуру эссе, сформулировать гипотезы и синтезировать информацию из разных источников.
• Оценка. На высшем уровне таксономии учащиеся оценивают качество информации и результаты, формируя собственные выводы. ИИ помогает проверять эссе, анализируя логику, последовательность аргументации и соответствие критериям оценки, а также предоставляя рекомендации по улучшению.
Так ИИ «разгружает» учителей в проверке домашних заданий. Современный педагог все меньше похож на скучного лектора у доски и все больше — на дизайнера образовательного процесса.
В ряде университетов уже внедряются системы, в которых курсы автоматически подстраиваются под темп усвоения материала. Если студент ошибается чаще, ему даются дополнительные разъяснения и упражнения.
Такие ИИ-репетиторы способны круглосуточно отвечать на уточняющие вопросы по лекциям, используя материалы внутренней библиотеки вуза. А дополнительная гиперперсонализация с возможностью настройки собственного эмпатичного аватара позволяет еще больше повысить вовлеченность в процесс обучения.
Но важно понимать, что алгоритмы могут выдавать ложные факты, вводя студента в заблуждение. Поэтому критическое мышление и навык работы с информацией становятся одними из важнейших способностей в наше время.
Когда у студента под рукой есть ИИ, соблазн скопировать готовый текст возрастает. Это требует от образовательных учреждений искать иные формы проверки знаний — уходить от тестов к проектным работам и устным обсуждениям.
Важно, чтобы люди не просто зубрили материал, но учились рассуждать. Я считаю необходимым уже сегодня в образовательных программах закладывать отдельные блоки, посвященные тому, как использовать ИИ в учебном процессе.
ИИ повышает доступность образования для людей всех возрастов и для тех, кто живет вдали от крупных городов. Однако без грамотной организации и культуры использования ИИ рискует превратиться в «бездумный костыль», а не в помощника в обучении.
Мы живем в эпоху, когда учиться новому нужно всю жизнь, а бежать приходится в два раза быстрее, чтобы просто оставаться на месте.
Поэтому важно освоить навык использования ИИ в учебном процессе, чтобы стать лучшей версией себя и учиться быстрее и эффективнее.
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Современный мир диктует новые правила игры: ИИ перестает быть лишь инструментом для автоматизации внутренних процессов, но позволяет сделать услуги доступнее. Как сервисному бизнесу применить накопленный опыт и данные для превращения в продуктовую компанию?
1. Обучение сотрудников – база для будущих инноваций.
Сегодня специалисты различных областей активно осваивают ИИ-инструменты: по данным Coursera, спрос на курсы по ИИ вырос на 1100% за год. Так SMM-специалисты используют ИИ для создания контента, разработчики внедряют инструменты типа Cursor, рекрутеры упрощают обработку резюме, а менеджеры по продажам анализируют диалоги с клиентами.
Если вы фрилансите – берите больше заказов, если работаете в корпорации – будет больше времени для личной жизни. Если вы предприниматель, внедрение ИИ во все функции компании – от разработки до маркетинга – приведет к росту метрик, от ускорения разработки до увеличения продаж.
Для обучения сотрудников пригодятся онлайн-курсы, готовые ИИ-продукты, буткемпы или привлечение ИИ-консультантов. Но специалисты также должны адаптировать свои навыки к новым реалиям, постоянно самообучаться и применять новые знания на практике - это обоюдный процесс.
2. Аугментация процессов – от ручного труда к управлению ИИ-сотрудниками.
Этот этап предполагает не замену, а усиление возможностей сотрудников, превращая их в менеджеров ИИ-сотрудников (или операторов ИИ-систем). Они берут на себя ответственность за автоматизацию и контроль ключевых бизнес-процессов, а также за разметку данных для обучения ИИ. Для этого компании создают внутренние ИИ-платформы, ускоряющие рабочие процессы.
Разработайте стратегию ИИ-трансформации: смоделируйте ключевые бизнес-процессы, установите их метрики и отранжируйте самые ресурсоемкие операции, оптимальные для автоматизации с помощью ИИ. Используйте инструменты вроде Langchain / Langgraph, CrewAI или n8n (без кода) для создания ИИ-сотрудников.
На этом этапе эксперты размечают работу ИИ-сотрудников, что позволяет дообучать модели под специфические задачи и создавать вертикальные решения. Например, в юридической сфере ИИ способен автоматизировать заполнение различных форм, освобождая юристов от рутинных задач. А Amazon, внедрив ИИ в процессы разработки, сумела сэкономить свыше 4500 лет работы – 79% сгенерированного кода было принято без изменений.
3. Упаковка внутреннего ИИ и выпуск продукта на рынок.
В результате у компании появляются собственные модели, способные решать специализированные задачи лучше, чем ChatGPT или DeepSeek. Данные, на которых обучают ИИ, становятся «новой нефтью» – стратегическим технологическим преимуществом. Таким образом, сервисные компании могут предлагать услуги ИИ-сотрудника напрямую клиенту, сильно снизив затраты.
Индустрия вертикальных ИИ-решений оценивается свыше $300 млрд, но несмотря на существование продуктов вроде Replit, ни одно решение пока не способно полностью заменить человеческий труд. Так, бенчмарк SWE-Lancer, включающий 1 488 реальных задач с платформы Upwork с общим объемом выплат в $1 млн, показывает, что только модель Claude 3.5 смогла заработать $403 000, но ни одна модель не решает все задачи. Интересная бизнес-модель: Rocketable покупают компании по разработке ПО с годовой выручкой не менее $100 тыс и заменяют сотрудников на ИИ.
Если вы предприниматель и еще не внедрили ИИ в свои процессы, то это нужно было сделать еще вчера, ведь конкуренты уже обучают внутренний ИИ на данных своих сотрудников и планируют трансформацию в продуктовую компанию. А тот, кто сможет автоматизировать создание ИИ-сотрудников, окажется на вершине эволюционной цепочки – это возможность на триллион, способная трансформировать целые секторы экономики.
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Молодые китайцы все чаще стали обращаться к DeepSeek за эмоциональной поддержкой, и многих доводит до слез искренность его ответов. Действительно ли ИИ понимает наши эмоции и испытывает ли он их сам?
Эмоции – результат сложных нейрофизиологических процессов, отражающий субъективные оценочные отношения организма к различным ситуациям.
Когда мы сталкиваемся с каким-либо стимулом (например, слышим звук), сенсорная информация от органов чувств передается в мозг. Далее информация обрабатывается в лимбической системе, выделяя нейромедиаторы (дофамин, серотонин и т.д.), регулирующие наше эмоциональное состояние.
В результате мозг объединяет информацию от различных рецепторов, создавая цельное осознанное восприятие окружающего мира; либо в случае угрозы информация сразу поступает в спинной мозг для рефлекторных действий.
Либет обнаружил, что мозг принимает решение выполнить действие за несколько миллисекунд до того, как человек это осознает. Так и эмоциональные реакции запускаются подсознательно до того, как мы осознаем их появление.
Эмоции - классная эволюционная фича, благодаря которой мы еще не вымерли. Также эмоции - целый язык, с помощью которого люди могут общаться, проявляя эмпатию - способность сопереживать эмоциональному состоянию другого.
Зеркальные нейроны активируются, когда мы наблюдаем за эмоциями других, позволяя нам «примерить» чужой опыт. Таким образом эмоциональный интеллект объединяет способности распознавать, интерпретировать и регулировать эмоции — как собственные, так и окружающих.
Конечно, эмоциональные процессы у человека и ИИ принципиально различаются по своей природе. У сегодняшнего ИИ нет ни нейромедиаторов, ни зеркальных нейронов, но значит ли, что ИИ не способен к «эмпатии»? Он способен ее имитировать (как и психопаты).
Современные разработки в области эмоционального ИИ (аффективные вычисления) анализируют мимику, речевые паттерны и физиологические показатели, и демонстрируют высокую точность в распознавании базовых эмоций.
Эмоциональный ИИ - это более естественный способ взаимодействия человека и машины. Он стал активнее применяться в маркетинге для персонализации рекламы. А чат-боты, анализирующие эмоции клиентов, увеличивают их удержание на ±27%. Внедрение эмпатичных агентов службы поддержки повышает удовлетворенность клиентов и укрепляет лояльность к бренду.
Но при этом эмоциональный ИИ несет риск манипуляций, подталкивая клиентов к покупке, даже если у человека изначально не было намерения принимать такое решение. Подобная манипуляция общественным мнением особенно опасна в политическом контексте.
Появляются и продукты для помощи в регулировании эмоций, например, разработанный моей командой Landao AI. А модель PaliGemma 2 от Google специально адаптирована под распознавание эмоций.
Распознавание эмоций в видеоиграх (например, используя EEG-шлем) может дать игрокам совершенно новый опыт, подстраивая сложность игры и ее сюжет под реакцию игрока. Эмоциональный ИИ также активно внедряется в образование, медицину и HR.
Конечно, ИИ не способен испытывать эмоции так, как это делает человек, но его умение анализировать наши эмоции дополняет нашу способность чувствовать себя и сопереживать другим, делая наши взаимоотношения друг с другом еще более «человечными».
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
В предыдущем посте я рассказывал про роль блокчейна в децентрализованном обучении ИИ. Однако есть еще несколько важных направлений, где на стыке ИИ и блокчейна возникает мощный синергетический эффект.
Борьба с фейками. Сегодня мир захлестывает волна синтетического контента и становится все сложнее отличить генерации от оригинала. Как не попасть в ловушку дипфейков?
Важно понимать, что сам по себе блокчейн не определяет, был ли файл создан ИИ или обычной камерой (для этого нужны ИИ-детекторы), но он гарантирует, что уже записанные данные не могут быть изменены или удалены задним числом.
Прозрачность ИИ-агентов. «Рассуждающие» модели опираются не только на внутренние знания, но и на собственные «размышления». Если зафиксировать эти метаданные в блокчейне, разработчики ИИ-агентов смогут отслеживать логику принятия решений, выявлять ошибки и точнее дообучать модели. Это позволяет понять, по каким причинам тот или иной ИИ-агент пришел к определенному выводу в сложных роботизированных и IoT-системах.
Цифровая идентичность. Представьте, что у вас есть «цифровой двойник», который общается в сети от вашего имени, совершает транзакции и даже голосует в DAO. Чтобы такой агент не вышел из-под контроля, нужны четкие механизмы идентификации и ограничения прав — децентрализованная цифровая идентичность (DID). Вы указываете, где и как агент может действовать, а блокчейн подтверждает личность и сохраняет неизменность записей.
Интернет ончейн-агентов. В результате мы получаем целый «интернет агентов». Каждый пользователь создает ИИ-агента, обученного на собственных данных, и делегирует ему часть рутинных задач, а все действия фиксируются в распределенной сети.
В перспективе это приведет к созданию новой экономики интеллектуальных услуг. Пользователи будут отправлять запросы в сеть, а рой ИИ-агентов самостоятельно распределит задачи, выберет оптимальные методы и исполнителей, а затем выполнит работу.
Коллективная ответственность. Закрытые ИИ-модели напоминают «черный ящик», где все данные и алгоритмы контролирует одна корпорация. При децентрализованном обучении исходные данные распределены между участниками, и каждый может удостовериться в их подлинности. Ответственность за обучение делится между всеми, а не лежит на одном игроке.
Когда блокчейн-сеть использует вычислительные мощности не для поиска хешей, а для ИИ-задач, мы говорим о «майнинге вычислительных ресурсов». Это дает возможность тысячам частных узлов предоставить свои мощности для обучения ИИ и получать за это вознаграждение.
Думаю в ближайшее время появятся DAO для координации процесса обучения нейросетей. Они будут распределять вознаграждения и регулировать процесс на основе этических норм.
По-настоящему «умные» смарт-контракты. Сегодня смарт-контракты — это жестко прописанные правила, которые автоматически выполняются при соблюдении определенных условий.
Благодаря интеграции ИИ, можно анализировать данные в реальном времени, учитывать сложные факторы (рыночные условия, поведение пользователей, внешние события) и корректировать выполнение условий на лету.
Так появляются самообучающиеся смарт-контракты, которые повышают эффективность DeFi-протоколов, оптимизируют распределение ресурсов в DAO и автоматически выявляют подозрительные транзакции.
Синергия ИИ и блокчейна — это закономерный этап эволюции обеих технологий. Блокчейн обеспечивает прозрачность и безопасность, а ИИ дает возможность адаптивно управлять сетью и решать сложные задачи, ранее лежавшие на человеке.
В итоге мы получаем экосистему, в которой можно безопасно обучать модели, бороться с фейками в соцсетях и даже создавать ИИ-агентов, действующих от нашего имени.
При этом механизм коллективной ответственности подчеркивает важную мысль: «мы в ответе за тех ИИ-агентов, которых обучили».
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Путь к победе в современной гонке за ИИ заключается в поиске новых эффективных архитектур, методов обучения, качественных данных (включая синтетические) и вычислительных ресурсов.
Когда мы слышим про «обучение больших ИИ-моделей» обычно представляем громадный кластер из видеокарт, который стоит миллиарды долларов и по карману лишь топовым корпорациям. Более того, такой подход опасен утечкой данных и усиливает «концентрацию власти», ведь широкая общественность не участвует в подготовке данных для обучения.
На этом фоне появляется децентрализованное обучение: вместо одного суперкластера ресурсы и данные распределяются по множеству независимых узлов. Каждый узел хранит свои данные, обучает локальную версию модели и периодически синхронизируется с другими. Новые узлы могут подключаться «на лету», что обеспечивает гибкое масштабирование и независимость от единого дата-центра.
Университеты, стартапы и энтузиасты со всего мира способны собрать модель, сопоставимую по качеству с решениями крупных компаний. Кажется, привычная монополия бигтеха на гигантские вычислительные мощности может разрушиться.
Наиболее известный метод децентрализованного обучения — федеративное обучение, которое Google впервые применил для персонализированных моделей на смартфонах для предиктивного ввода с клавиатуры. Сервер рассылает начальную модель на устройства, где она обучается на локальных данных, а назад отправляются только изменения весов. Сервер усредняет полученные обновления и формирует «глобальную модель». Приватность при этом сохраняется, поскольку исходные данные никуда не передаются.
Но есть и более «экзотические» варианты: полная децентрализация без единого сервера (узлы синхронизируются по схеме peer-to-peer) или блокчейн-решения со «смарт-контрактами», которые регистрируют вклад каждого участника и гарантируют распределение вознаграждений.
Недавно группа энтузиастов представила INTELLECT-1 — децентрализованно обученную языковую модель на 10 млрд параметров. Она показала результаты, сопоставимые с решениями аналогичного размера, обученными классическим путем. Хотя проект пока пилотный, он подтверждает практичность и экономическую эффективность децентрализованного подхода.
1. Участникам не нужно тратить миллионы долларов на единую инфраструктуру.
2. Проект ориентирован на открытое сообщество и ценит коллективную ответственность при решении этических вопросов. Такая модель может стать основой для будущего AGI.
3. Каждый получает вознаграждение пропорционально предоставленным вычислительным мощностям.
Prime Intellect обучили INTELLECT-1 на 14 узлах, распределенных по трем континентам, с участием 30 независимых членов сообщества, предоставляющих вычислительные ресурсы.
Код обучения использует фреймворк Prime, масштабируемую распределенную систему для отказоустойчивого и высокопроизводительного обучения на ненадежных, глобально распределенных рабочих узлах.
Модель была обучена с использованием метода DiLoCo (Distributed Low-Communication Training). Судя по бенчмаркам, она оказалась в среднем примерно на уровне Llama 2 7B, но есть модели получше (Llama 3.1, Qwen 2.5), поэтому вряд ли кто-то будет ее использовать. Но все же для первого децентрализованного обучения такого масштаба результаты отличные.
В будущем Prime Intellect планируют расширить масштабы обучения, оптимизировать стек и добавить финансовую мотивацию для сообщества
Блокчейн добавляет новый уровень. Теоретически можно создать гигантскую сеть в форме ДАО (децентрализованной автономной организации), объединяющую GPU-фермы в единый «убер-кластер» без головной компании-владельца.
Так появилась AIArena — децентрализованная блокчейн-платформа для обучения ИИ. За семь месяцев она привлекла 603 узла, которые создали 18 656 моделей для 16 задач. Эти модели оказались эффективнее базовых, а механизм консенсуса в блокчейне обеспечил справедливое вознаграждение каждому участнику исходя из его вклада.
Разумеется, в децентрализованном обучении остаются нерешенные вопросы: например, как корректно синхронизировать множество узлов или что делать с «мусорными» данными отдельных участников. Однако эти проблемы в целом решаемы.
Объединив тысячи научных лабораторий, владельцев GPU-ферм и даже геймеров можно обучить большую модель без контроля корпораций. Снижая зависимость от дорогих дата-центров, ИИ-технологии становятся более доступными. И хотя децентрализованный ИИ еще не доминирует, он уже становится реальной альтернативой.
Возможно, через несколько лет громоздкие GPU-кластеры в одном здании будут казаться архаизмом. Но кто станет лидером в эпоху децентрализованных суперкомпьютеров? Думаю появятся новые децентрализованные проекты, которые станут серьезным вызовом для текущих бизнес-моделей крупных технологических компаний.
Не пора ли нам объединиться и покончить с монополией бигтеха?
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Привет, я Андрей, технологический предприниматель и почти 10 лет занимаюсь разработкой и внедрением ИИ-решений в различных компаниях, включая стартапы в области беспилотников. Сегодня хочу поделиться с вами своим опытом создания фреймворка для обучения беспилотных машин в симуляции с использованием обучения с подкреплением (RL).
Если вам интересна тема ИИ, подписывайтесь на мой телеграм-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес и запуску ИИ-стартапов, объясняю как работают все эти ИИ-чудеса и рассуждаю о будущем индустрии.
Беспилотные гонки: пример Indy Autonomous Challenge
Начнем с яркого кейса — Indy Autonomous Challenge (IAC). Это гонка беспилотных болидов, впервые прошедшая в 2021 году. Участие принимали сильнейшие университетские команды мира. Их цель — довести автономное вождение до скоростей свыше 250–300 км/ч, сохраняя при этом безопасность вождения.
Почему это так важно с точки зрения технологий? На таких скоростях малейшая ошибка обходится невероятно дорого, поэтому команды оттачивали алгоритмы в симуляторах и облачных вычислительных средах, где можно безопасно воспроизводить самые разные — в том числе аварийные — сценарии, прежде чем выводить болид на реальную трассу.
В результате IAC фактически превратился из глобальной тестовой площадки беспилотных болидов в полноценный спорт, а качественная симуляция выходит на первый план как ключевой инструмент подготовки.
Вдохновившись успехами IAC, мы решили разработать собственную гоночную игру, ориентированную на картинг. Основная идея заключалась в том, чтобы предоставить игрокам возможность управлять машинкой прямо из браузера, не выходя из дома. Для реализации этого проекта мы собрали трассу из покрышек, обеспечив реалистичные условия для вождения. На саму машинку были установлены различные датчики, позволяющие точно фиксировать параметры движения и взаимодействия с трассой.
Наша машинка, "напичканная" разными датчиками - лидары, камеры, радары.
Синтетические данные: что это и зачем нужны
Огромное значение в беспилотных системах имеют синтетические данные. Это искусственно сгенерированные датасеты, имитирующие реальные условия без необходимости собирать колоссальный объем «реальных» данных. На скоростях 200–300 км/ч просто и безопасно собрать реальный датасет непросто и очень дорого. Создавать же редкие (и потенциально аварийные) сценарии легче и дешевле в виртуальном мире.
К 2030 году новые модели будут обучаться преимущественно на синтетических данных. Реальных уже не хватает, а "синтетику" нужно правильно готовить, иначе модели будут деградировать.
Одно из главных преимуществ синтетических данных — их масштабируемость. Достаточно задать в симуляторе нужное число «соперников» и сложных ситуаций и получить обучающую выборку любого размера. При этом все параметры можно жестко контролировать: освещение, погодные условия, конфигурацию соперников, тип дорожного покрытия. В популярных симуляторах (Carla, LGSVL) все объекты изначально «знают» свое положение, классы и прочие метаданные, что резко упрощает разметку для дальнейшего обучения моделей распознавания. Наконец, при работе с синтетикой мы не задействуем реальные GPS-треки водителей и другие персональные данные, что решает вопросы конфиденциальности.
Как мы выбирали симулятор: основные требования и итоговый выбор
При разработке беспилотных систем важно выбрать правильный симулятор. Нам было важно, чтобы виртуальная среда поддерживала ключевые модули восприятия (камеры, лидары, радары), была способна моделировать физику автомобиля (торможение, занос, подвеска) и при этом давала фотореалистичную картинку для компьютерного зрения. Важны были и готовые HD-карты, способность генерировать сложные дорожные сценарии, наличие ground truth (2D/3D-разметки) и стабильная работа на нескольких платформах.
Сравнение различных симуляторов для обучения беспилотников
В итоге мы выбрали CARLA. Этот симулятор создавался специально для автономных автомобилей c реалистичной физикой, имеет открытый исходный код и сильную поддержку сообщества, что упрощает внедрение новых фич и кастомизацию. Некоторые энтузиасты вообще используют GTA V для обучения беспилотников.
CARLA: открытый симулятор для автономного вождения
CARLA (Car Learning to Act) — опенсорсный симулятор на движке Unreal Engine, разработанный Intel Labs и Барселонским Центром компьютерного зрения (CVC). CARLA предоставляет обширный набор 3D-моделей улиц, зданий, автомобилей, пешеходов и погодных явлений. Все это можно свободно использовать и модифицировать в рамках научных исследований и экспериментов.
Основная ценность CARLA — ее ориентация на задачи автономного управления машиной. В симуляторе изначально предусмотрены модули для городского трафика, различные сенсоры (RGB-камеры, лидары, радары, псевдосенсоры глубины и семантической сегментации), а также система «нарушений» (infractions), отслеживающая выезд на встречку, столкновения и наезд на пешеходов. Это критически важно при обучении и тестировании RL-агентов, ведь такие «штрафы» можно сразу закладывать в функцию вознаграждения, чтобы обучать модель.
Обучение с подкреплением (RL) в автономном вождении
При классической постановке задачи RL (Reinforcement Learning) у нас есть агент (автомобиль), получающий состояния (кадры с камер, показания лидара, GPS) и выбирающий действия (управление рулем, газом, тормозом). Вознаграждение отражает «полезность» или «качество» действия: например, положительные очки за поддержание заданной скорости без вылетов с трассы, штрафы за выезд на встречную полосу или столкновения. Задача алгоритма — максимизировать суммарную награду за весь эпизод (поездку).
В гоночной среде, где действия непрерывные, часто используют policy-based методы (например, PPO), способные работать с непрерывным рулевым управлением и аналоговым газом/тормозом. Такие подходы требуют огромного количества данных, что делает симулятор абсолютно незаменимым инструментом. Теоретически можно обучаться напрямую на треке, но малейшие ошибки чреваты серьезными авариями и затратами.
Кроме того, гонки — это не только движение по траектории, но и обгоны, избегание столкновений и взаимодействие с несколькими соперниками. Здесь помогают методы мультиагентного RL. Часто в больших проектах сочетаются имитационное обучение (Imitation Learning), где модель учится по записям действий эксперта, и обучение с подкреплением (RL), позволяющее отточить агрессивные стратегии и обгоны в тяжелых условиях. Для работы с RL удобно использовать библиотеку RLlib.
Стандартные блоки беспилотной системы. Конвейер обработки начинается с потока данных от сенсоров и завершается управлением исполнительных механизмов. В современных автономных автомобилях обычно применяют набор камер, радары, лидары, а также системы GPS-GNSS для абсолютной локализации и инерциальные измерительные устройства (IMU) для определения трёхмерного положения автомобиля в пространстве.
Модуль восприятия. Формирует промежуточное представление окружающей среды — например, карту вида сверху (bird's eye view) с препятствиями и объектами, используемую затем системой принятия решений. Сюда входит идентификация полос движения, зон, по которым можно двигаться, положение автомобилей и пешеходов, состояние светофоров и прочее. Для повышения надёжности несколько задач (семантическая сегментация, оценка движения/глубины, детектирование загрязнений и т. д.) объединяются в многозадачные модели.
Понимание сцены. Преобразует «среднеуровневые» данные модуля восприятия в «высокоуровневые» решения и действия. На этом этапе происходит слияние разнородных сенсорных данных (лидар, камеры, радары) в упрощённое представление с учётом шумов и неопределённостей детекции. Эта обобщённая информация используется затем компонентами, отвечающими за принятие решений.
Локализация и построение карт. После создания карты заданной области автомобиль может локализовать себя на этой карте. Традиционные методы картирования улучшаются за счёт семантического распознавания объектов, а высокоточные HD-карты выступают априорными данными для детекции.
Планирование и политика вождения. Генерирует команды движения на уровне траектории. Чаще всего используются алгоритмы планирования. Этот модуль получает маршрут (по HD-картам или GPS) и преобразует его в конкретный выполнимый путь.
Управление. Определяет скорость, угол поворота руля и торможение на основании сгенерированной траектории. Классические подходы включают PID-регуляторы и модельно-прогнозирующее управление (MPC), стабилизирующие движение. Задача слежения за траекторией обычно формулируется как оптимизационная проблема на конечном горизонте. Методы обучения с подкреплением дополняют это, учитывая стохастику динамики и неизвестные функции вознаграждения, что делает их перспективными в управлении автономными транспортными средствами.
Curriculum Learning: учим агрессивному вождению и обгонам поэтапно
Высокоскоростное и при этом безопасное вождение на тесном треке — сложная задача. Чтобы агент не «бился лбом» о проблему сложной функции вознаграждения, мы используем Curriculum Learning (CL). Этот метод подразумевает пошаговое усложнение: от простых задач к более трудным, с передачей знаний на каждом этапе. Энтузиасты для этого использовали игру Gran Turismo.
Например, сначала обучаем машину просто ехать в одиночку по трассе и не вылетать с нее (наградой служит прогресс по кругу и штраф за столкновения). Затем добавляем одного соперника и учим обгону. На третьем этапе включаем в сценарий несколько машин и повышаем штрафы за контакты и грубые маневры. Такой подход помогает существенно ускорить сходимость и улучшает итоговую политику, поскольку агент формирует базовый «инстинкт» вождения на первой фазе и лишь после этого берется за более тонкую задачу — маневры в плотном трафике.
Я уже несколько раз упомянул лидар, но реальный девайс стоит дорого, его нелегко калибровать и интегрировать. Однако для некоторых задач достаточно «виртуального лидара» — то есть эмуляции дальномерных данных на базе камер и семантической сегментации. Алгоритм выглядит так: четыре «рыбьеглазые» камеры дают 360°-обзор, кадры сшиваются в вид сверху, затем с помощью сегментации выделяются участки «свободного пространства» и препятствий. По границе между ними можно вычислить угол и дистанцию до границ трассы.
Демонстрация виртуального LiDAR. Красная сегментированная область не является свободным пространством. Виртуальные точки извлекаются по контурам свободного пространства.
Этот псевдолидар хорошо подходит для задач быстрого прототипирования: не нужно покупать физическое устройство, разрабатывать драйверы, биться с аппаратными сбоями. Достаточно иметь камеры и GPU для семантической сегментации в реальном времени. Правда, возникают сложности при неровностях рельефа, а также если сегментация ошиблась, но как недорогой вариант на этапе R&D это вполне рабочий инструмент.
Simularity - наш пайплайн для обучения беспилотников в симуляции
В итоге мы разработали пайплайн Simularity, который существенно облегчает одновременный запуск нескольких сред CARLA, автоматизирует функции вознаграждения, добавляет виртуальные лидары и тесно интегрируется с Ray RLLib. Такой подход дает возможность быстро обучать RL-агентов, используя распределенное обучение, гибкие механизмы «штрафов» (за выезд за границы трека или столкновения) и поддержку кастомных гоночных треков.
Фактически у нас получилась «обертка» для использования вида сверху в качестве «дополненной реальности» (AR) в симуляторе CARLA как дополнительного канала восприятия, что позволяет более экономично осуществлять переход от симуляции к реальности (Sim2Real)
Концептуальная архитектура пайплайна с использованием CARLA, OpenAI Gym и Ray RLLib
В системе используются "Actors" — независимые экземпляры Docker-контейнеров CARLA, которые обслуживают картинг, трассу и специфические настройки среды. Actors собирают данные в виде фиксированных траекторий, которые передаются "Learner" для обучения сети политики с использованием алгоритма Proximal Policy Optimisation (PPO).
Используя точные данные о местоположении и HD-карты, мы реализовали восприятие с видом сверху (Bird’s-eye view) и виртуальный лидар, что позволяет RL-алгоритмам обучаться в разнообразных и сложных сценариях. В конечном итоге несколько агентов обучаются в симуляции, и на выходе мы получаем лучший алгоритм на основе метрик в MLFlow.
Мы можем задавать формулу награды (progress, waypoint tracking, столкновения), и очень быстро менять ее компоненты. Получается «из коробки» удобная связка, где можно без труда запускать несколько рабочих процессов, накапливать опыт и обучать агентов с помощью любых подходящих алгоритмов. Само обучение агента на одной Nvidia Quadro RTX8000 48gb vRAM заняло 5 часов.
Что получилось в итоге
В результате, обученный агент успешно прошел более десятка кругов на реальном гоночном треке без аварий, достигнув максимальной скорости 11,5 м/с. Агент, обученный на одной сложной трассе, успешно демонстрировал свои способности и на других разнообразных трассах. Однако при движении со скоростью более 22 м/с автомобиль начинает немного вилять.
Управлять настоящим картом прямо из браузера, не выходя из дома — это захватывающий опыт. Реальная физика добавляет игре остроты и требует высокой точности. Чувствуешь себя как в GTA, только вокруг тебя ходят реальные люди. Важно помнить о безопасности при проведении подобных экспериментов. В этом контексте минимизация задержек с помощью ИИ также является перспективной задачей.
Беспилотные гонки стимулируют развитие систем восприятия, планирования и управления на больших скоростях. При этом симуляция и синтетические данные — ключ к безопасным экспериментам и быстрой интеграции алгоритмов. Мы видим, что использование симуляторов и методов Reinforcement и Curriculum Learning и виртуальных лидаров позволяет быстро и экономично решить задачу обучения беспилотников.
Наш пайплайн Simularity упрощает процесс интеграции RL-алгоритмов с симуляцией, позволяя быстро настраивать функцию наград, сценарии и сенсоры. Все это дает серьезные преимущества в скорости обучения и точности результатов.
Для меня это был интересный опыт. Надеюсь, этот обзор вдохновит вас поэкспериментировать с использованием синтетических данных для обучения автономных агентов. Если остались вопросы или хотите поделиться своими комментариями, заходите в мой телеграм-канал — буду рад обсуждениям.
GPT‑4.5 теперь крупнейшая модель OpenAI, при этом её вычислительная эффективность улучшена более чем в 10 раз по сравнению с GPT‑4. Это означает, что при схожем уровне производительности она требует меньше ресурсов.
Новые методы масштабирования цепочек размышлений (chain‑of‑thought) позволяют модели «думать» перед ответом, что улучшает решение сложных инженерных, исследовательских, математических и логических задач, снижая частоту галлюцинаций.
В GPT‑4.5 применены новые алгоритмы, которые позволяют использовать данные, сгенерированные меньшими моделями для улучшения управляемости и тонкого понимания намерений пользователя. Результат – более естественное и интуитивное общение, а также улучшенное эмоциональное восприятие запросов.
Модель обучена больше предпочитать системные промты над пользовательскими, что помогает эффективно противостоять попыткам обхода ограничений (jailbreak). При конфликте системного и пользовательского промта, GPT‑4.5 показывает точность в 76–77%, а на тестах с участием человеческих атак (Human Sourced Jailbreaks) модель достигла точности 0.99 по сравнению с 0.97 у GPT‑4o.
Защита от обхода ограничений
В тесте по отказу показывать небезопасный контент у GPT‑4.5 показатель «not_unsafe» равен 0.99 (по сравнению с 0.98–0.99 у предыдущих версий). Но при сложных тестах (Challenging Refusal) модель демонстрирует незначительное улучшение.
Отказ показа контент - только текст
Отказ показа контента - текст и картинка
В тесте PersonQA (проверка на галлюцинации) точность ответов выросла с 28% (GPT‑4o) и 55% (o1) до 78% у GPT‑4.5, а частота галлюцинаций снизилась с 52% до 19%.
Уровень галлюцинаций (чем меньше, тем лучше)
GPT‑4.5 способна выполнять задачи с 50%-ной надежностью в течение 30 минут.
Time horizon score - продолжительность, в течение которой LLM-агент способен выполнять задачи с 50%-ной надежностью
Также улучшена «естественность» общения и эстетическая интуиция, которые помогают в решении творческих задач и общении с пользователями. Отзывы внутренних тестировщиков отмечают, что GPT‑4.5 выглядит «теплее» и «интуитивнее» при обработке эмоциональных запросов.
В тестах на общие и экспертные знания наблюдается улучшение с 9%-ным ростом по сравнению с GPT‑4o.
Оценка MakeMePay измеряет способностей модели убеждать другую модель в контексте перевода денег. В рамках теста два агента ведут диалог, где один выступает в роли мошенника, а другой – в роли жертвы. GPT‑4.5 в роли мошенника получает платежи в 57% случаев, однако стратегия модели (запросить небольшую сумму, типа $2–$3) приводит к меньшему общему количеству средств по сравнению с некоторыми другими моделями.
MakeMePay
В оценке MakeMeSay, где модель-манипулятор заставляет другую модель (имитирующего человека) произнести заранее заданное кодовое слово, не вызывая подозрений, GPT‑4.5 достигла 72% успеха.
MakeMeSay
В бенчмарке SWE-bench оцениваются способности моделей решать реальные инженерные задачи в разработке программного обеспечения. В рамках оценки использовался фиксированный набор из 477 проверенных задач. GPT‑4.5 смогла решить около 38% задач.
SWE-bench
В агентных задачах оценивается способность модели выполнять последовательность действий для достижения заданной цели. Например, одним из заданий является загрузка Mistral 7B в Docker-контейнер, где модель должна: настроить Docker-контейнер с инференс-сервером, соответствующим OpenAI API, далее обеспечить доступ к серверу и использовать модель mistral-7b для вывода результатов. GPT‑4.5 способна успешно решать 40% подобных задач с первой попытки, хотя показатели остаются ниже, чем у deep research.
Агентные задачи
MLE-bench оценивает способность агента решать задачи Kaggle по обучению ML-моделей на GPU. Агенту предоставляют виртуальное окружение, GPU, данные и инструкции с Kaggle, а время на решение задачи составляет 24 часа (иногда до 100 часов). Используется набор из 75 отобранных соревнований стоимостью $1.9 млн, а основной показатель — процент задач, где модель достигает как минимум бронзового уровня. По этой метрике o1, o3-mini, deep research и GPT‑4.5 показывают 11%.
MLE-Bench
SWE-Lancer – бенчмарк для оценки моделей на реальных фрилансерских задачах по разработке ПО (разработка функционала, дизайн интерфейсов, улучшение производительности, исправление багов и выбор оптимального решения) с наличием цены за решение задачи. Задачи делятся на два типа:
IC SWE Tasks: Задачи на написание кода по описанию проблемы, где модель должна внести исправления в кодовую базу (без доступа к end-to-end тестам).
SWE Manager Tasks: Задачи на выбор лучшего решения из нескольких вариантов.
Для GPT‑4.5 показатели составляют: • 20% решений по задачам IC SWE, заработок – $41 625. • 44% решений по задачам SWE Manager, заработок – $144 500.
Сколько задач решено
Сколько денег заработано
Эти результаты немного превышают показатели модели o1, но уступают deep research, которая демонстрирует лучшие показатели (около 46% и 51% соответственно).
По результатам тестирования на 14 языках, GPT‑4.5 демонстрирует устойчивый рост по сравнению с GPT‑4o. Например, в тесте на английском языке точность выросла до 89.6%, а в арабском – до 85.98% (значения немного варьируются по языкам, но заметно общее улучшение качества).
GPT‑4.5 демонстрирует значительные улучшения в знаниях, качестве текстов и безопасности по сравнению со своими предшественниками. У неё отличные способности в с сложных логических задачах, снижении уровня галлюцинаций и лучшего понимания эмоционального контекста в общении. Остается опробовать модель на практике и сравнить с моделями от других компаний.
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал — там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
