Edu-VR: Приложение виртуальной реальности для развития профессиональных и междисциплинарных навыков
Здравствуйте. Сегодня я хотел бы познакомить вас с нашим проектом, который представляет собой приложение для обучения в виртуальной реальности. Немного расскажу о том, как появилась идея, о текущем состоянии разработки и наших планах по его запуску и совершенствованию.
Коронавирус и другие факторы внедрения новых методов и технических решений в преподавание
В марте 2020 года все мы столкнулись с новыми реалиями нашей действительности. Дистанционная, или её ещё называют электронной, форма обучения выявила болевые точки образовательного процесса, а именно особенности проведения практических занятий по техническим и естественнонаучным дисциплинам. Встал вопрос об изменении принципов существования кружков и секций робототехники.
Во время моей работы преподавателем на курсах по робототехнике со школьниками и студентами мы занимались пробными заданиями по AR и VR в среде Processing. Когда я достал свои старые наработки, то понял, что нужны свежие решения на той материальной базе, которая есть в наличии. Тогда мы со студентами протестировали связку лабораторных стендов с ПЛК, компьютеров с MS Teams и широкоугольных камер для охвата аудиторий и вещания в прямом эфире. Ребята, занимаясь из дома, подключались бы к лабораторным компьютерам и получали доступ к рабочим столам. Они смогли бы выполнять контрольные и видеть результаты “в железе”, под чутким руководством преподавателя, находящегося в это время в кабинете.
Предпосылки проекта
Оглядываясь тогда на происходящее вокруг нас и обсуждая ситуацию с коллегами, я начал складывать концепцию будущего проекта. Предпосылками для него стали:
- модули 3D-проектирования в курсах – та часть, где студенты по чертежам деталировок, выданных предприятиями, или чертежам своих проектов получали анимации их сборки, печатали на кафедральных 3D-принтерах экспонаты для выставок;
- беглый обзор всего оборудования с которым мы работали;
- то оборудование и та инфраструктура, которых у нас не было и о которых мы могли только мечтать;
- весь наш шестилетний опыт создания дополнительных образовательных программ по робототехнике, выбор и покупка оборудования, разработки методических указаний и проведения сотен часов с детьми над основной частью курсов и их индивидуальными проектами, где мы все вместе становились учёными и творцами.
Желаемая концепция проектируемого будущего
Чётко представляемая концепция желаемого будущего сложилась тогда, была аккуратно записана и убрана в ящик до недавнего времени. В сентябре мы собрались командой и начали продуктивную работу по нашему проекту. Итоговый продукт, к которому мы стремимся, описывается так:
Текущее решение
Технические решения и наработки, что есть у нашей команды сейчас:
- VR-приложение в Google Play, точнее его бесплатная демо-версия, над улучшением и изменением которой мы работаем;
- беспроводные модули, передающие информацию с трёхосевых гироскопов и акселерометров на смартфон по Bluetooth;
- комплект сценариев для программ, развивающих SoftSkills – сейчас мы планомерно вносим их в новые версии программы;
- алгоритмы образовательного курса по робототехнике и двух приложений-визиток для потенциальных заказчиков;
- грубо назовём этот компонент – ИИ, обучаемый распознавать передвижения пользователя по данным с датчиков смартфона и модулей, работающий пока в тестовом режиме;
- база данных пользователей и система распознавания меток на стадии закрытого тестирования.
Ближайший шаг технического развития проекта (Аппаратная часть и Программное обеспечение)
В качестве ближайшего шага развития проекта определены:
- завершение работы над демо-версиями и их обсуждение с заказчиками;
- подключение к демке приложения базы данных пользователей;
- введение в рабочую версию обученного на распознавание определённых движений ИИ.
Это те технические задачи, на которые мы нацелены в первую очередь и хотим отработать их в ближайшее время.
Отдельно об Искусственном Интеллекте в проекте
Раз уже был упомянут ИИ, то стоит сказать несколько слов и о конкретных задачах, которые мы решаем и планируем решать при помощи этого класса технологий.
Следующая версия приложения, которую мы выложим в открытый доступ, будет содержать сцену с самообучающейся нейросетью, решающей задачу для вас “в прямом эфире”. Всё это будет работать на основе SDK ML-Agents и необходимо для тестирования производительности программы в целом. В перспективе мы будем использовать его для более тонкой подстройки виртуального окружения под конкретного пользователя.
Второй инструмент, который мы настраиваем для использования в проекте – это предварительно обученные графы библиотеки TensorFlow. При помощи них мы сводим информацию с упомянутых выше сенсоров и учимся распознавать определённые движения руками, головой и всем телом пользователя. Идеальный результат, к которому мы здесь стремимся – это распознавание и использование в виртуальной реальности рук в качестве манипуляторов, при минимальном потреблении ресурсов смартфона и наибольшей возможной точностью. Для этого мы также проводим эксперименты с камерой смартфона, от которой в виртуальную реальность передаётся минимальный объём данных.
Вместо заключения
Сейчас наш проект находится в той стадии, когда мы представляем план его развития, решаем задачи по его совершенствованию и начинаем активно работать с потенциальными заказчиками. Тема стартапов для нас в новинку, но мы полны энтузиазма, поэтому стараемся сделать всё от нас зависящее, чтобы получившийся продукт был на высоте.