3

Дешевый Open-Source VR шлем

Разные "железки"

Задумался я еще в прошлом году о создании своего VR шлема. В качестве самого шлема выбор пал на Google Сardboard-совместимые гарнитуры (я выбрал Shinecon SC-G05C). В качестве трекера головы изначально думал использовать WII Remote Plus, но увы библиотека Cwiid через пару дней после начала проекта перестала работать совсем. Проект был отложен на пол года. Потом я купил mpu6050 и решил попробовать использовать его как трекер головы. Через opentrack всё заработало отлично, даже в Half Life 2 VR Mod поиграл.

Планы:

  1. Перевести трекер на esp32-c3, для работы по BLE+WIFI(для устройств без BT, планируется использование websocket).

  2. Реализовать драйвер для SteamVR с поддержкой данного трекера.

  3. Сделать инструкции по сборке данного шлема самостоятельно

  4. (Не точно) Сделать инструкции по сборке самодельных игровых контроллеров. Ну и возможно сделать поддержку Wii Remote.

Оборудование и ПО которые применяются в прототипе:

  1. Смартфон с разрешением 1600x720(фактическое разрешение в сумме 615(85,5%)x1232(77%))

  2. Sunshine, Nvidia Gamestream(Для стриминга картинки на смартфон, т.к. задержки по Moonlight оказались меньше, чем у карты захвата HDMI)

  3. Opentrack(временно, когда будет реализован драйвер, Opentrack не понадобится)

  4. USB Gamepad

Разрешение экрана телефона низкое, стоит использовать телефон с разрешением FullHD, а лучше ~2k чтобы сетка не бросалась в глаза. Я рекомендую найти дисплеи с диагональю не менее 5.2", 58.8мм в ширину для Shinecon SC-G05C. На али можно найти дисплеи такого формфактора, только в таком случае нужно найти еще и контроллер для него, чтобы подключить в hdmi компьютера. Если вы знаете что это за дисплеи и контроллеры, дайте знать в комментариях. Если можно, то отправьте ссылку на товар на али.

Это не готовый проект, но мне интересно узнать ваше мнение, как можно улучшить это, и какие еще способы вывода изображения вы можете предложить? Проект старается предложить дешевый VR шлем, который может собрать любой. Возможно даже из подручных материалов.

Молодые предприниматели

3.2K постов16.1K подписчиков

Правила сообщества

Запрещены: флуд, спам, хамство...

0
Автор поста оценил этот комментарий

Ещё трекинг и контроллеры. Написать полноценный драйвер для любого закрытого устройства - задача если и выполнимая, то очень сложная. Особенно с учётом того, что эти устройства стремительно теряют актуальность.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Дак я же говорю про создание аналога открытого. А драйвера для WMR уже давно написали люди. Я только в концепцию беру наверное то, что это еще и hdmi дисплей.

0
Автор поста оценил этот комментарий

WMR выпилят скоро, но если не обновляться, можно и дальше их пользовать.


Если есть энтузиазм - продолжайте. Но не уверен, что удастся создать хоть сколько нибудь сопоставимый аналог нормальных шлемов даже за очень большой бюджет, слишком там уже много технологичности, и в железе линз и экранов, и в софте, и это всё при и так очень низкой цене.


А по поводу того же самого отслеживания лица и глаз - это прямо реальная задача и за это люди даже реально готовы платить деньги, потому что нормальных вариантов толком нет, даже дорогие устройства обвешаны костылями и доставляют неудобства.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Ну так никто не мешает написать драйвер с нуля. Как минимум под GNU/Linux есть monado, там есть поддержка этого. На винде в steamvr тоже драйвер можно сделать думаю. По сути wmr это hdmi дисплей же.

показать ответы
0
Автор поста оценил этот комментарий

Я ни в коем случае не отговариваю продолжать - это действительно интересно, и девайс будет вполне рабочий, и опыт полезный. Только нужно иметь в виду, что эта разработка будет интересна только вам, потому что сейчас вр стал намного доступнее, чем раньше, и новый современный шлем можно купить по цене смартфона. Он будет на порядок превосходить любую самоделку и ему для игр даже не потребуется компьютер, это автономное устройство, на котором можно смотреть фильм или играть даже на улице или в транспорте.


Поэтому, я бы посоветовал лучше заняться чем-то действительно актуальным в области вр. Например, дешёвым модулем отслеживания лица, совместимым с актуальными шлемами. Или попробовать сделать нормальное отслеживание глаз. Или внести улучшения в slimevr трекеры.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Я вас понимаю. Но и стоит вспомнить про windows mixed reality. Шлемы были дешевыми, но как я считаю даже сейчас Б/У варианты стоят дороговато. А вот если создать свой аналог им, получится думаю неплохо. Постараюсь сделать его максимально дешевым. Ну и да, это же не заводское изделие, а diy)

показать ответы
1
Автор поста оценил этот комментарий

Годовалый проц. Не думаю, что телефоны на нем не имеют гиро.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Ну прикол, я глянул в dns на телефоны на этом проце, только у пары моделей нашел гироскоп. Ну не важно, зато будет запасной вариант

0
Автор поста оценил этот комментарий

Не потянет даже принять и показать картинку с нормальным битрейтом и без лагов. ПК-гейминг вещь хорошая, но есть нюанс в виде необходимости очень толстого канала до гарнитуры с минимальной задержкой.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Лол, у меня всё нормально, лагов нет.

0
Автор поста оценил этот комментарий

Когда в процессе игры что-то лагает или зависает и каринка замирает, это даёт очень приличный удар по вестибулярке. Даже у привычного к вр человека это вызывает заметный дискомфорт, у новичков же сразу начинает кружиться голова, можно даже не рассчитать движение и упасть от неожиданности. Мозг привык видеть и чувствовать синхронно, и если возникает заметный конфликт, он впадает в ступор.


Я это к чему: если не предполагается ничего, кроме просмотра видео сидя в кресле, то худо-бедно посмотреть будет можно. Но в нормальные игры с комфортом точно не поиграешь. Именно поэтому сейчас даже у специализированных проводных шлемов для просмотра фильмов есть точное отслеживание себя в комнате.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Сидя в кресле конечно же.

показать ответы
1
Автор поста оценил этот комментарий

Мунлайт передаёт сжатый поток. Для декодирлвания нужна нормальная производительность.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Ок, мое ведро на mtk helio g36 тянет декодирование.

показать ответы
0
Автор поста оценил этот комментарий

Ну сейчас-то уже в каждом есть. А если такой и найдётся - так он всё равно не потянет ничего толкового.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Что значит потянет/не потянет? Тут телефон выступает только в роли дисплея, все вычисления производятся на пк

показать ответы
0
Автор поста оценил этот комментарий

А как вообще он работает? Способен детектировать сдвиг по всем осям, или только поворот?


В первом игровом шлеме Virtial Boy для Nintendo было два монохромных экрана, каждый 384×224px.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Только поворот, но и это неплохо, как я считаю. Думаю если придумать систему получше то можно и сдвиг считывать(наверное нужен магнитометр, не знаю).

показать ответы
2
Автор поста оценил этот комментарий

как можно улучшить это

купить Quest 3, он стоит всего 500 баксов


а вообще если без шуток - нужен реально хороший дисплей. Как человек, который пробовал сначала тоже играться с "вр на телефоне", а потом перешел на Квест 3 - боже, какая огромная разница и как прям приятно смотреть видосы и играть на полноценном шлеме.

В телефонном шлеме у тебя очень быстро начнет болеть голова, эффекта погружения почти не будет из за прям ощутимой зернистости и еще куча косяков.


так что бери дисплей с хорошим разрешением, чтобы МЕНЬШАЯ сторона была хотя бы 1080 пикселей

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

А можно предоставить примеры таких дисплеев(ссылки), которые можно купить сейчас? И контроллеры к ним.

0
Автор поста оценил этот комментарий

Как бы ни был интересен процесс создания своего устройства, тут полностью соглашусь. В VR крайне важен комфорт для глаз и качество трекинга, если там будет плохая картинка или трекинг будет хоть немного запаздывать и дёргать - уже через 5 минут гарантированно начнёт болеть голова и будет мутить, впечатление будет испорчено и сформируется предубеждение, что весь VR - это что-то ужасное и неюзабельное.

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Ну трекинг по ощущениям в тестах, в целом достаточно отзывчив. А вот качество картинки с таким низким разрешением, оставляет желать лучшего... А кстати мне интересно, а какое качество было на первых шлемах для MS DOS

показать ответы
1
Автор поста оценил этот комментарий

А гироскоп телефона использовать нельзя?

раскрыть ветку (1)
0
Автор поста оценил этот комментарий

Можно, ноооо есть ньюанс. Не все будут применять телефон. А еще сейчас почему то не во все телефоны ставят гироскоп.

показать ответы