Камрады, прошу прощения у всех кто ждал моего отчета по результатам использования игровой приблуды Tobii Eye Tracker 4C в качестве устройства управления компьютером для людей с ограниченными возможностями, к сожалению по определенным причинам не могу показать как эта штука работает конкретно в нашем случае, но постараюсь все подробно описать и покажу альтернативы. И конечно еще раз хочу выразить огромную благодарность пикабушнику @oBoLLl, который предоставил мне данный прибор, и всем кто не остался безучастным, когда я обратился за помощью.
Начну с того, что есть специализированные системы для управления взглядом и от той же компании Tobii но стоят они сотни тысяч рублей, причем некоторые по сути работают на том же принципе что и игровой Tobii Eye Tracker 4C (далее просто Tobii для удобства) но с доп софтом, причем на Tobii софт от производителя предназначен только для игр и добавляет некоторые функции в Windows 10.
Что из себя представляет само устройство: Это небольшой блок, который крепится внизу монитора и подключается к компьютеру по USB. Устройство представляет из себя инфракрасную камеру с инфракрасными лампочками, свет от которых отражаясь от зрачка позволяет камере определить направление взгляда.
В комплекте само устройство, магниты для крепления на мониторе (магнит приклеивается к монитору и Tobii вешается на этот магнит), и USB удлинитель. Так же в зависимости от версии и места покупки в комплекте может быть какая-нибудь игра.
Tobii предназначен как вспомогательное устройство для игр, именно вспомогательное, он не заменяет никакие элементы управления полностью, а лишь позволяет более точно действовать или немного подвигать угол обзора. Если кто-то задумался взять для себя, то штука классная только если этих денег реально не жалко (13-15 тыр). Microsoft добавили в Windows 10 функцию Eye Control, которая позволяет управлять системой с помощью глаз, с Tobii эта функция работает, но как я понял функционал ее расширяется и уже сейчас больше чем было когда я тестировал устройство, но в целом этого не достаточно для человека с ограниченными возможностями, для обычного пользователя самым удобным мне показались функции Windows Hello (система узнает хозяина ПК, не требует пароль, а так же может блокировать ПК если вас за ним нет) и функция выбора взглядом окна в меню Alt + Tab, на сама деле потрясная вещь. Больше действительно полезным мне ничего не показалось, но повторюсь, функция становится круче со временем и дорабатывается. Так же есть клавиатура для набора взглядом но на момент теста не поддерживался русский язык, что как по мне странно.
Теперь о дополнительном софте, на хабре есть статьи человека, который систему управления для полностью неподвижного ребенка, прикладываю ссылку на статью, данный софт попробовал, все работает отлично, ставится просто, честь и хвала разработчику но в моем случае нужно было что-то другое.
Как использовать “Tobii Eye Tracker 4C” для общения с ребёнком, который не может говорить и двигаться (СМА, ДЦП, БАС): https://habr.com/ru/post/423807/
На каком-то игровом канале нашел видео где блогер играл в CS глазами вместо мыши используя софт PROJECT IRIS и в итоге на этот софт пал мой выбор. Программа стоит 39 евро и имеет пробный период, как я понял, с помощью нее можно реализовать и функции, которые предоставлены в программе выше. Ссылка на IRIS там все наглядно хоть и на английском: http://iris.xcessity.at/index.php
Iris позволяет управлять мышью с помощью глаз, позволяет использовать маргания (например для щелчка мыши, но функция не очень полезная так как при моргании скачет курсор), щелчок можно реализовывать задержкой взгляда на определенном месте.
Так же можно создавать различные области на экране, которые будут работать так как вам нужно. При взгляде на созданную область будет выполняться какое либо действие, например нажатие кнопки, или выполнение макроса, все создается вручную очень просто и интуитивно понятно, девочка для которой я это все затеял разобралась за вечер после того как я ей быстренько показал основные функции. Для управления камерой в 3D играх (где нет курсора который свободно перемещается по экрану, а мышкой перемещается сама камера), просто создается такая область с режимом FPS VIEW MODE и настраивается под себя. Из основных настроек только размер самой области (обычно на весь экран) и слепая зона. В этом режиме камера двигается в ту сторону куда вы смотрите, для этого и нужна слепая зона в центре экрана.
В нашем случае, когда я готовился к поездке, я не знал всей проблемности ситуации и рассчитывал что устройство будет использоваться как мышь, а рабочая кисть будет взаимодействовать с клавиатурой. К сожалению оказалось, что пользоваться клавиатурой она может с большим трудом, а мышкой нормально, по этому было решено использовать обратный сценарий. В IRIS были созданы несколько профилей под разные задачи, для обычного использования пк и для пары игр, например для игр были вывешены области каждая из которых отвечала за кнопку или макрос, а с помощью мышки вращали камеру как обычно. Например 4 области W A S D, смотришь на W - идешь вперед, смотришь на A - влево. В шутеры так не поиграешь, но во что-то спокойное вполне комфортно. Все эти области настраиваются по размеру, функционалу и внешнему виду, можно их полностью скрыть оставив при этом функции за этими областями.
Теперь о том с чем пришлось столкнуться. Девушка для которой я это делал постоянно лежит на боку, а устройство требует чтобы линия глаз и линия сенсоров были параллельны, придумывать хитрую подставку для ноута не стали, для этого был куплен монитор с возможностью наклона по всем осям, но монитор недостаточно наклонялся вниз, по этому рекомендую купить кронштейн типа того, что на изображении ниже, с ним точно проблем не возникнет. Мне же пришлось колхозить угловую платформу которую приклеил на монитор и уже на нее трекер, сработало как надо.
Так же мы оказались в ситуации когда Tobii видел только один глаз пользователя, оказалось что это никак значительно не влияет на функционал, у пользователя управление с отслеживание одного взгляда работало так же сносно как у меня двумя. Вы же можете столкнуться с проблемой очков, очки будут создавать ложные блики, что будет мешать работе устройства.
Мой вердикт: для людей с ограниченными возможностями, при неимении возможности использования специализированных решений (которые стоят огромных денег), штука обязательна к покупке, вполне можно взять на вторичном рынке, на момент моих поисков устройство в РФ не продавалось, но сейчас снова появилось в магазинах.
Для обычных пользователей штука очень приятная, но только не по такой цене.
Альтернативные варианты:
1) Специализированные решения, тут я не советчик, стоят они кучу денег, если они у вас есть выбирайте сами.
2) Можно использовать более старую версию Tobii, но есть нюанс, Tobii Eye Tracker 4C имеет более современную начинку и все вычисления проводит сам, т.е. наличия в нем своих мозгов позволят использовать устройство на слабом железе, не сильно нагружая систему.
3) Самое вкусное, что я нашел: Microsoft Kinect. Разработчики IRIS занимаются и другими проектами и у них я нашел KinesicMouse http://kinesicmouse.xcessity.at/
Эта штука позволяет Microsoft Kinect в контроллер для всего, который управляется лицом.
К сожалению для нашего случая это с вероятностью 90% не подойдет, но я все равно попробую и если получится отпишусь. Буду рад если кто-то из владельцев кинекта скачает пробную версию софта и поделится опытом с пикабушниками, в ру сегменте не видел инфы по их проектам. Вот основной сайт этих ребят http://xcessity.at/ это не все их проекты, думаю может инфа о них поможет кому-то еще.
Если будут вопросы по IRIS пишите, по остальным вариантам к сожалению не подскажу т.к. обладаю только поверхностной информацией и самих устройств не пробовал.
Еще раз спасибо всем кто откликнулся в прошлый раз в частности @oBoLLl за предоставления устройства. Прошу прощения, что настолько затянул с постом да еще и без своих материалов его написал, когда занимался установкой и настройкой было вообще не до этого, а потом уже уехал и не знаю когда смогу снова там побывать и что-то отснять.