Управляем компьютером жестами: создаем систему бесконтактного взаимодействия с ПК⁠⁠

Сегодня хочу рассказать о своем небольшом проекте, который позволяет управлять компьютером с помощью жестов, распознаваемых через камеру.

Меня всегда интересовала тема управления компьютером без использования традиционных периферийных устройств. Вдохновением послужили технологии компьютерного зрения и машинного обучения, которые позволяют анализировать движения рук в реальном времени. Хотелось создать систему, которая бы распознавала жесты и преобразовывала их в команды для управления курсором, кликами и прокруткой.

Эта программа будет особенно полезна для людей с ограниченными возможностями, которым сложно пользоваться традиционной мышью и клавиатурой. Кроме того, она пригодится пользователям в повседневных ситуациях: например, когда руки заняты или испачканы во время готовки, а нужно пролистать рецепт; во время работы с инструментами, когда нет возможности касаться мыши и клавиатуры; или при просмотре фильмов, чтобы легко управлять воспроизведением без пульта и нажатий.

Жесты

На текущий момент поддерживаются следующие жесты:

1. Контроль курсора — движение руки управляет положением курсора.

2. Левый клик — выполняется определенным жестом.

3. Правый клик — аналогично, но с другим положением пальцев.

4. Скроллинг — вертикальные движения руки прокручивают страницу.

Каждый жест проходит через нейросетевую модель, обученную на специально собранном наборе данных. Для распознавания я выбрал компактную feedforward модель, которая обеспечивает высокую точность при минимальных вычислительных затратах, что делает систему быстрой и отзывчивой.

Как использовать

Пока что для использования программы нужно уметь запускать Python проекты. Проект с инструкцией доступны в GitHub. Если возникают какие-либо проблемы с запуском - пишите в комментарии.

Для увеличения точности распознавания пользователи могут легко самостоятельно собрать датасет, и обучить свою нейросеть - для этого есть готовые скрипты. В дальнейшем планирую сделать удобное приложение.

Буду рад, если подпишитесь на мой Telegram канал. Там будут все обновления по этому проекту, а также другие интересные проекты. Задавайте вопросы - в комментариях здесь или в Telegram.