Добрый день всем пикабушникам.
Меня зовут Игорь и я аспирант.
В этой серии постов я хочу рассказать про свою научную работу и интересные истории с ней связанные. А занимаюсь я робототехникой и интерфейсами человек-машина-человек, но не обычными роботами или стандартной электроэнцефалографией (ЭЭГ), а именно роботами для образования людей.
Идея очень простая. Есть человек, который хорошо что-то умеет делать (возьмем пока только сам факт движений различных частей тела в определенных условиях), например стрелять из лука, бегать, ездить на велосипеде, крутить баранку и т.д. Мы оцифровываем большое число его движений, формируем идеальную модель или иными словами эталон. Потом этот костюм, но уже с обратной связью (пока не важно какой) надеваем на того, кто только начинает изучать навык. И тренируем по выявленной модели.
Эти источники про ЭЭГ, но для поведенческой модели все еще проще.
a) Interactive neuro-educational technology to accelerate skill learning //2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. – IEEE, 2009. – С. 4803-4807.
б) Real-time EEG-based brain-computer interface to a virtual avatar enhances cortical involvement in human treadmill walking. Sci Rep. 2017 Aug 21;7(1):8895. doi: 10.1038/s41598-017-09187-0.
В чем плюсы:
1) У нас есть проверяемая на качество модель.
2) Можно применять для массового обучения.
3) Легко передавать оцифрованный навык.
4) Можно сделать сеть подобных обучающих роботов, общающихся как в Интернете вещей (IoT).
5) С существующими законами легко сертифицируется и монетизируется.
В чем минусы:
1) Сложно обеспечить длительную мобильность подобного образовательного костюма.
2) Дорого.
3) Мозговыносящее программное обеспечение и прочие прелести технологического проекта.
Сразу скажу, что изначально я хотел сделать подключить и гироскопы, и акселерометры, и магнитометры, и мышечные датчики, и датчики кожно-гальванической реакции и ЭЭГ посматривал и много других. Зачем? Расскажу далее. Реальность же сделала примерно так:
Я 2 месяца не мог подключить эти гироскопы по одной простой причине, на пришедших мне датчиках GY BMI160 была неправильно нанесена маркировка выходов, помогла только лупа и дельные советы еще одного руководителя лаборатории робототехники в городе.
Это правильный вариант.
После этого одна из первых версий перчатки для оцифровки движений руки выглядела уже так.
В отдельном варианте это выглядело так. Я не стал показывать свое тело Аполлона, чтобы Вы думали о науке, а не о физическом.
Как можно заметить, все состоит из подключения к Ардуино (да простят меня матерые электротехники и микроконтролерщики за упоминание в суе этой адовой вещи).
Почему? Да потому что на начало сбора оборудования я не имел представления об электроники, и был паяльник на 20 Ватт обычный. Плюс ко всему я обзванивал и писал по многим нашим фирмам необходимое оборудование и ценник был всегда от 200 000р до 3 500 000р за оборудование в сборе, которое еще и разбирать все равно надо.
А тут все с большим запасом вышло много меньше. 80 штук GY-BMI160 вышли всего в 31 200 рублей. Как я искал оборудование и составлял требования к ним - это отдельная история.
В общем я понял, что нужно делать дешево и сердито, попутно расплачиваясь мозговрывательством в обучении многим новым областям. Я даже успел получить сертификат по машинному обучению от Яндекса и МФТИ за это время.
Время шло, качество пайки росло.
В этой версии до меня дошло, что нужно паять, а не соединительными проводами и макетной платной пользоваться, что проводов много. Что блютус это зло во плоти в этом проекте. Нужен Wi-Fi, а с ней и NodeMCU v3. Спустя полгода с момента прихода оборудования это было первой рабочей версией общей стоимостью около 4 тысяч рублей.
Очень долго не мог понять как по WiFi передавать данные. Особенно огорчило, что частота для 18 датчиков была 1,8 Герца реальная... Но потом когда я понял, что не надо для каждого датчика открывать и закрывать соединение, а можно сделать это всего 1 раз в начале - частота работы руки подскочила до 50-74 Гц.
Я еще устроен как ассистент преподавателя в университете и на этом фото провожу летнюю практику для студентов со своей рукой.
Я не знаю как тут вставлять ссылки на файлы, поэтому временно выложу на яндекс диск. Удалось собрать такую оцифровку движений руки. https://yadi.sk/d/rtUQF5GS3MertK
Схема расположения датчиков для этого съема такая:
Сделано с помощью пейнта (вы ведь видите неповторимый характер этой программы в эскизе? :))
Я бы показал еще видео, что получилось визуализировать, но рейтинг пока не позволяет.
Где-то в этот момент успел выступить на Иннопроме 2017 с этой разработкой перед правительством Свердловской области, где просил 20 миллионов рублей и сразу получил их на карточку вечером (конечно же не получил, но сумма реальная и не я один был с такими заявками)
А тем временем со студентами мы боролись с нулевым дрейфом гироскопа без магнитометра, потому что все магнитометры, которые я брал - не работали от слова никак.
Поэтому было решено таки заказать хороший магнитометр из Китая самому, без посредников в виде ИП. И я заказал BMX055 9 осевой бошевский чип, где и акселерометр есть и магнитометр и гироскоп в одном лице. Только один момент... нужно больше точности в пайке, переходя к навесному монтажу чипов.
Собственно говоря я закупил и термофен, регулируемый паяльник, фоторезист, прозрачную пленку, эпоксидную смолу, кучу новых датчиков, в общем все что нужно.
На освоение нового качества пайки мне потребовался месяц экспериментов и несколько датчиков, которые отправились в Вальгаллу.
В данный момент я провел серию предварительных тестов и собираю уже промышленный образец. Старые версии я разобрал, снял чипы. Получилось что-то вроде такого:
Это не законченная история, через два года я буду получать кандидата либо технических, либо физико-математических наук (третий кандидатский еще не сдан).
О чем я буду писать?
Как проводится тестирование костюма, забавные и поучительные для меня истории.
Чего я хочу?
Я хочу создать костюм для полного погружения в виртуальную и дополненную реальности для образовательных и реабилитационных целей. Сделать Web Of Skills.
О чем я могу написать?
1) Поступление в аспирантуру.
2) Проведение нормоконтроля студентов от лица нормоконтролера. (я в этом году принимал оформление дипломов у 5 академических групп).
3) Проведение работы в университете, чтобы на выходе получить качественный диплом.
4) Формирование научных интересов.
5) Сотрудничество с небольшими научными лабораториями.
6) Опыт общения с поставщиками оборудования как готового, так и по деталям.
7) Опыт выступления на Иннопроме.
8) Визуализация данных в Blender 3D и Unity 3D.
9) Коммерциализация продукта.
10) Интеллектуальная защита продукта.
11) Научный поиск информации.
12) Опыт самостоятельного обучения пайке.
13) Как учиться учиться. (за этот год я прочитал около 15 тысяч страниц, что в сумму дает более 30 тысяч прочитанной литературы от художки до специализированной. Пройдены курсы по юридической поддержке стартапов, управлению инновационными проектами, машинному обучению, математика для всех (да, это для гуманитариев, но когда начал работать с кватернионами, то понял что где-то есть пробел, но не знаю где), получил три свидетельства на программу ЭВМ, научился пайке с нуля и прочее).
О чем я не буду писать?
О политике как государственной, так и университетской.
Я не популяризатор науки, я её просто люблю и готов поделиться этой радостью с Вами.
Пишите в комментариях, о чем хотелось бы еще узнать, чего не коснулся в этом посте.