E-Learning. Часть 16. Аналоги костюмов захвата движений⁠⁠

Доброго всем времени суток, продолжаю серию постов про образовательную робототехнику. Здесь я описываю результаты и просто ход выполнения своей научной работы.

Кратко: разрабатываю специальную робо-накидку на одежду, которая сможет оцифровывать часть двигательных навыков мастеров своего дела и передавать это тем, кто только учится.

О чем этот пост: покажу где располагают подобные сенсоры на теле человека коллеги со всего мира. На данный момент у меня на руке их 18. А всего 45. На основные суставы.

Начал с обзора аналогов для выявления существующих областей применения подобной штуки, заодно сохранил несколько реализаций костюмов с расположением сенсоров. Про сами области применения расскажу в один из следующих разов. Поиск осуществлял в Web Of Sciense. Статьи свежие, не более 3-5 лет. Все статьи находятся через Google Академия.

Для сравнения моя предпоследняя схема (сейчас 3 модуля только планируется):

1) Borzikov, V. V., et al. "Human motion video analysis in clinical practice." Современные технологии в медицине 7.4 (eng) (2015).

Тут в отличии от меня на теле используется больше точек захвата. Например на ступне их 4 штуки, в то время как у меня 1. Зачем справа слева от колена расположили - не знаю, может из-за того что не МЭМС захватывают, а камерой.

2) Gabbasov, Bulat, et al. "Toward a human-like biped robot gait: Biomechanical analysis of human locomotion recorded by Kinect-based Motion Capture system." Mechatronics and its Applications (ISMA), 2015 10th International Symposium on. IEEE, 2015.

3) Lädermann A. et al. Kinematics of the shoulder joint in tennis players Journal of science and medicine in sport. – 2016. – Т. 19. – №. 1. – С. 56-63

Хотя конечно, это не сенсоры, а маркеры для захвата камерой.

4) Aung, Min, et al. "The automatic detection of chronic pain-related expression: requirements, challenges and a multimodal dataset." IEEE transactions on affective computing 1 (2016): 1-1.

5) Ayachi, Fouaz S., et al. "Wavelet-based algorithm for auto-detection of daily living activities of older adults captured by multiple inertial measurement units (IMUs)." Physiological measurement 37.3 (2016): 442.

О, похоже на мой любимый Blender 3D. У меня похожий скетч для визуализации.

6) Faber, G. S., et al. "Estimating 3D L5/S1 moments and ground reaction forces during trunk bending using a full-body ambulatory inertial motion capture system." Journal of biomechanics 49.6 (2016): 904-912.

7) McGinnis, Ryan S., et al. "Quantifying the effects of load carriage and fatigue under load on sacral kinematics during countermovement vertical jump with IMU-based method." Sports Engineering 19.1 (2016): 21-34. А это для отработки прыжков сделали.

8) Regazzoni, Daniele, Giordano de Vecchi, and Caterina Rizzi. "RGB cams vs RGB-D sensors: Low cost motion capture technologies performances and limitations." Journal of Manufacturing Systems 33.4 (2014): 719-728.

9) Bolink, S. A. A. N., et al. "Validity of an inertial measurement unit to assess pelvic orientation angles during gait, sit–stand transfers and step-up transfers: Comparison with an optoelectronic motion capture system." Medical engineering & physics 38.3 (2016): 225-231.

К вопросу о применимости МЭМС сенсоров как альтернативы видео захвату.

10) Ivanov, A. V., and A. M. Formal’skii. Mathematical mod of crutch walking. Journal of Computer and Systems Sciences International 54.2 (2015) 315-329

Для реабилитации, анализировали как ходить с тросточкой.

11) Han, Fei, et al. Space-time representation of people based on 3D skeletal data A review. Computer Vision and Image Understanding 158 (2017) 85-105

12) Wang, Jiang, et al. Learning actionlet ensemble for 3D human action recognition. IEEE transactions on pattern analysis and machine intelligence 36.5 (201) Красавчик. Однозначно.

13) Brownjohn, James Mark William, et al. "Footbridge system identification using wireless inertial measurement units for force and response measurements." Journal of Sound and Vibration 384 (2016): 339-355.

14) Zhang, Songyang, Xiaoming Liu, and Jun Xiao. "On geometric features for skeleton-based action recognition using multilayer lstm networks." 2017 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2017.

Где моя ступня, Джонни?!

15) Kitagawa, Naoki, and Naomichi Ogihara. "Estimation of foot trajectory during human walking by a wearable inertial measurement unit mounted to the foot." Gait & posture 45 (2016): 110-114.

И парочка чисто на ногу.

16) Yandell, Matthew B., et al. "Physical interface dynamics alter how robotic exosuits augment human movement: implications for optimizing wearable assistive devices." Journal of neuroengineering and rehabilitation 14.1 (2017): 40.

О том почему камеры не вытеснили Микроэлектромеханические системы (МЭМС) в другой раз.

Пока посмотрите может стоить подобный костюм в формате жесткого экзоскелета.

Ну и я так много просмотрел статей, что капча решила, что мне нужен допинг.

Резюме:

- Состав оборудования определяет задача (спасибо капитан).

- В самом среднем случае захватывают с 15 +- точек. Если нам нужен каркас без излишеств.

- Топ 18 областей за последние 5 лет по всему миру, где интересуются захватом движения ("motion capture").

- ТОП 20 стран по публикациям.

Мы на 35 месте. с 20 публикациями по данной теме.