Apple готовится к настоящему технологическому прорыву в области взаимодействия человека и машины. Уже к концу 2025 года компания намерена внедрить поддержку нейроинтерфейсов в своей операционной системе visionOS — базе для гарнитуры Apple Vision Pro. Одним из первых партнёров Apple в этом направлении станет компания Synchron, известная разработкой неинвазивных нейроимплантов.

Для реализации проекта Apple разрабатывает специальный протокол под названием BCI HID (Brain-Computer Interface Human Interface Device). Он будет активироваться через систему Switch Control и станет доступен не только на visionOS, но и в iOS и iPadOS.

Интерфейс без касаний — только взгляд и мысль

Первым устройством с поддержкой BCI HID станет нейроимплант Stentrode от Synchron. Его уникальность — в методе установки: он вводится через яремную вену, без необходимости в открытой операции на мозге. Тестирования Stentrode начались ещё в 2019 году, и с тех пор устройство постепенно приближается к потребительскому уровню.

В августе 2024 года Synchron продемонстрировала управление интерфейсом Apple Vision Pro с помощью Stentrode: пользователь с БАС (боковым амиотрофическим склерозом) выбирал элементы интерфейса глазами, а команды подтверждал… мысленно, просто думая о действии. Никаких движений не требовалось.

Управление умным домом силой мысли

Synchron также сотрудничала с Nvidia, чтобы продемонстрировать, как нейроинтерфейс можно использовать для управления бытовой техникой: колонками, вентиляторами, роботами-пылесосами и другими устройствами. В демонстрации использовался поток сквозного видео (passthrough) с камер Vision Pro — доступ к которому Apple предоставляет только избранным партнёрам по закрытым соглашениям.

Нейроинтерфейсы и доступность — ставка на будущее

В рамках расширения функциональности visionOS, Apple также внедряет новые функции доступности: распознавание объектов, чтение текста в пространстве, навигацию для людей с ограниченными возможностями. Все они работают на базе нейросетей и тесно связаны с развивающейся системой взаимодействия с окружающим миром без касания.

Очевидно, что Apple не просто экспериментирует — компания выстраивает экосистему, где VR/AR-устройства станут продолжением сознания пользователя. И нейроинтерфейсы — ключ к этому будущему.

Читайте больше на VRealm

Смотреть на Quest TV

Смотреть на Vision Pro

https://www.youtube.com/watch?v=BACDGJ4L6mA

Плюсы Play For Dream MR 8K в сравнении с Apple Vision Pro:

- Выше разрешение.

- Больше угол обзора.

- Открытый кастомизируемый Android вместо огороженной Vision OS.

- Поддержка PC VR (Steam VR) из коробки! + 2 контроллера из коробки (базовые станции не нужны).

- Дешевле.

- Комфортнее.

- Уже прям неплохая замена мониторам "на бегу", если вам это нужно (текст-иконки на нескольких виртуальных мониторах весьма четкие).

О минусах пока рано (это все-таки прототип, не релизная версия). Поэтому, некоторые моменты, на которые им стоит обратить внимание:

- Трекинг MR виртуальных объектов.

- Трекинг рук и взгляда я не трогал, ничего сказать не могу.

- PC VR гейминг заявлен, но я не трогал, ничего сказать не могу.

- Meta эксклюзивы будут недоступны, standalone библиотека в целом будет значительно меньше того же Quest 3 (но запросто может оказаться больше, чем AVP).

- В целом, по интерфейсу еще предстоит много работы.

Удачи им :) Железка очень интересная и очень конкурентноспособная (по состоянию на середину 2024 г.)

Денег мне не платили, просто я люблю VR :)

С удовольствием отвечу на вопросы, если таковые имеются.

Ссылка на их сайт: https://www.pfdm.cn/en/#/mr
Релиз осенью 2024 (ранним 2025?), цена "до 2 тысяч долларов". Вряд ли ниже 1700 USD

__
Моё про VR и игры: https://t.me/ganjjgames

Моё про Китай: https://t.me/china_life

В целом, все ожидания (за исключением "маковости" шлема с М2 и полезности внешнего дисплея "с глазами") год спустя оправдались. Демо оказалось интересным; надеюсь и вам мои впечатления тоже будут интересны. Cравнивал Apple Vision Pro я в основном с шлемами Pimax Crystal, Quest 2 и Quest 3.

Пара приятных ожиданностей, несколько ожидаемых минусов. Железка очень интересная!

Плюсы:

+ Разрешение высокое, с таким разрешением уже можно приятно работать с текстом-таблицами (и фильмы смотреть приятно).

+ Spatial 3д фото и видео - это максимальный кайф! Чем больше XR устройств, тем ближе момент массового перехода визуального контента из "плоского" в 3д. Плюс, интерфейс apple фото и видео (размытия, фокус, легкие повороты изображения) очень хорош, создает ощущение "нырка в воспоминание", а не "просмотра контента на 3д экране".

+ Трекинг глаз + щепок как основной способ взаимодействия - пушка! Щепок очень расслабленный (рука на коленке, вообще без напряжения), трекинг глаз тоже очень точный. Не без минусов, но в целом - чрезвычайно полезная штука; я бы трекингом глаз вдобавок к мышке/контроллерам/жестам с удовольствием пользовался на повседнев.

Минусы:

- FOV маленький (85-90 с моими линзами), вертикальный FOV еще меньше (такая "танковая щель"). Просмотру фильмов не мешает (т.к. контент прямоугольный), в игры играть было бы уже не так интересно.

- Изображение четкое только в центре (градусов 50-60). По краям (последняя четверть углового изображения по бокам) - сильно размытие, блюр, изменение цвета. Несколько окон повесил перед собой - и уже придется головой вращать, т.к. "краем глаза" - смотреть мутно. Тут AVP и в подмётки не годится условному Pimax Crystal. У Crystal вообще на всех 105 градусах горизонтального FOV изображение - практически идеальное. Разница ощутимая.

- Вес, посадка со страпом через верх головы - по ощущениям - что-то между Quest 2 и Quest 3, Quest 3 будет поудобнее. Но в целом - нормально, "пойдёт для VR шлема".

В целом - все ожидания подтвердились; впечатлений масса, будущее - только радует :)

__
Моё про VR и игры: https://t.me/ganjjgames

Моё про Китай: https://t.me/china_life

Специалист заметил, что таким образом в Apple признали провал гарнитуры. «Это означает, что спрос на рынке США резко упал, превысив ожидания, что также заставляет Apple придерживаться консервативного взгляда на спрос на рынках за пределами США», — подчеркнул Мин-Чи Ко.

По его информации, в корпорации также не будут выпускать второе поколение устройства дополненной реальности в 2025 году, как планировалось ранее. Кроме того, в Apple пересмотрят свои приоритеты относительно рынка очков дополненной реальности.

Ещё...

В конце апреля в Bloomberg отметили, что американские потребители перестали приобретать очки дополненной реальности от Apple. Однако компания продолжает продвигать свой продукт через рекламу в торговых точках и медиа.