Пожалуйста, будьте вежливы! В новостных и политических постах действует Особый порядок размещения постов и комментариев.

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши.

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши. Наука, Новости, Технологии, Информация

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши. (НГТУ, 6 сентября)


В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов.


Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.


Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.


Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.


ИСТОЧНИК

Наука | Научпоп

7.6K постов78.3K подписчиков

Добавить пост

Правила сообщества

Основные условия публикации

- Посты должны иметь отношение к науке, актуальным открытиям или жизни научного сообщества и содержать ссылки на авторитетный источник.

- Посты должны по возможности избегать кликбейта и броских фраз, вводящих в заблуждение.

- Научные статьи должны сопровождаться описанием исследования, доступным на популярном уровне. Слишком профессиональный материал может быть отклонён.

- Видеоматериалы должны иметь описание.

- Названия должны отражать суть исследования.

- Если пост содержит материал, оригинал которого написан или снят на иностранном языке, русская версия должна содержать все основные положения.


Не принимаются к публикации

- Точные или урезанные копии журнальных и газетных статей. Посты о последних достижениях науки должны содержать ваш разъясняющий комментарий или представлять обзоры нескольких статей.

- Юмористические посты, представляющие также точные и урезанные копии из популярных источников, цитаты сборников. Научный юмор приветствуется, но должен публиковаться большими порциями, а не набивать рейтинг единичными цитатами огромного сборника.

- Посты с вопросами околонаучного, но базового уровня, просьбы о помощи в решении задач и проведении исследований отправляются в общую ленту. По возможности модерация сообщества даст свой ответ.


Наказывается баном

- Оскорбления, выраженные лично пользователю или категории пользователей.

- Попытки использовать сообщество для рекламы.

- Фальсификация фактов.

- Многократные попытки публикации материалов, не удовлетворяющих правилам.

- Троллинг, флейм.

- Нарушение правил сайта в целом.


Окончательное решение по соответствию поста или комментария правилам принимается модерацией сообщества. Просьбы о разбане и жалобы на модерацию принимает администратор сообщества. Жалобы на администратора принимает @SupportComunity и общество Пикабу.

Вы смотрите срез комментариев. Показать все
85
Автор поста оценил этот комментарий
Интересно, сколько такой способ дает преимущества в обращении с компом? Глухонемой он же не безрукий, может компом пользоваться классическим способом
раскрыть ветку (50)
26
Автор поста оценил этот комментарий

Не могу найти видос, где безрукий чувак играет в каэс ногами. Сам придумал примитивный манипулятор ногами, вот это заслуживает восхищений!

раскрыть ветку (8)
16
Автор поста оценил этот комментарий
Есть еще безрукий чувак, который ногами неплохо на гитарке играет. Или Ник Вуйчич. Вера в себя и сила духа творят чудеса.

...ну, и раз мы на Пикабу и тут не все боятся темноты.......
Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку (4)
11
Автор поста оценил этот комментарий

Может стоило их местами поменять? А то дичь какая-то выходит. Ядаж подшаманю, чтобы это было поучительно, тип карма.

Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку (3)
10
Автор поста оценил этот комментарий

Это, вроде как, две вариации одной шутки. Т.е. данные истории не связаны между собой.

раскрыть ветку (1)
1
Автор поста оценил этот комментарий
Иллюстрация к комментарию
Автор поста оценил этот комментарий
Ну это как глянуть. Без рук может быть парнишка с первой картинки, с которого травит уже другой пацан. И у вас текст на первой потерялся )
Автор поста оценил этот комментарий
Это тот, который, полез майнить цветные металлы в электрическую установку? Spons его канал на тытрубе.
Автор поста оценил этот комментарий
Есть чел, который играет в pubg ртом, на твиче Nohandsnoschoki. При том, неплохо играет, ещё и стрим ведёт.
Автор поста оценил этот комментарий

Лень искать пост, но пару лет назад здесь был слепой чел, который в игрульки пошпилить любил. Правда на сколько на самом деле он был слеп...

4
DELETED
Автор поста оценил этот комментарий
Нуу, лип моушн изобрел, молодец, чо. По вебке вон работает, гугль недавно либу выпустил для распознавания кисти и ее движения по камере, даж приложения на мобилу есть, шустро работают даже, ее и вкрутил наверно. Но все равно круто.
раскрыть ветку (5)
Автор поста оценил этот комментарий

Ты бы хоть название дал приложению. Если я правильно понимаю оно должно фиксировать мои конечности через камеру телефона и заменить мне мышку.

раскрыть ветку (3)
DELETED
Автор поста оценил этот комментарий
Названия особо нет, на гитхабе глянь, чисто инженерное апк, так сказать пруфофконцепт
раскрыть ветку (2)
Автор поста оценил этот комментарий

Я думал там уже приложение готово:(

раскрыть ветку (1)
DELETED
Автор поста оценил этот комментарий
Ну и либа есть,
Автор поста оценил этот комментарий

Там справа кинект вроде стоит

7
Автор поста оценил этот комментарий

Чувак, вот представь лежишь ты на диване, ноут на животе/кубиках, играешь в приятную игру. И вот в порыве лагов, потеряв самообладание твоя мышка улетает далеко и надолго, но ты всё ещё можешь управлять компом с помощью жестов, или вывести картинку на здоровый телек и серфить инет вообще без клавиатуры/мыши/пульта.

раскрыть ветку (2)
2
Автор поста оценил этот комментарий
Так то управление жестами уже давно существует
Автор поста оценил этот комментарий
Если это ноут, то у тебя ещё тачпад остаётся. А уж если и тачпад улетел....
Автор поста оценил этот комментарий
Сможет голосовухи слать в вк
Автор поста оценил этот комментарий
Ну, в управлении обычного пк я тоже не вижу особого смысла, но вот допустим в управлении роботами или тем же умным домом?
1
Автор поста оценил этот комментарий

Ты первый кто отметил это

раскрыть ветку (29)
5
Автор поста оценил этот комментарий

При всем уважении, я тоже не понимаю, на хуй это нужно. Человек и так глухой, зачем ему ещё больше усложнять жизнь?

раскрыть ветку (14)
2
DELETED
Автор поста оценил этот комментарий
Общаться то как?
Вы же не знаете язык жестов, а так сможете понять что вам говорят глухие и наоборот.
раскрыть ветку (13)
5
Автор поста оценил этот комментарий

Так а зачем УПРАВЛЯТЬ КОМПЬЮТЕРОМ при помощи языка жестов? Херь какая-то)

раскрыть ветку (10)
1
Автор поста оценил этот комментарий

Основное направление проекта - именно перевод.

Да, можно делать и управление компом, но это кому как нравится. Вон давно уже есть системы управления голосом, ток аудитория кому это надо - единицы. Тем более если для этого придется покупать не дешевый девайс, или две хорошие вебкамеры, еще и ресурсы компа будут все время ощутимо кушать.

Вот управлять смарт-телеком с дивана без клавы и мыши - вот тут да, хоть какой-то смысл есть.

Автор поста оценил этот комментарий

При должном уровне это полностью заменит механические манипуляторы. Нахрена мне мышка, если я могу водить рукой?

раскрыть ветку (8)
Автор поста оценил этот комментарий

На экране удобнее выбирать или манипулятором, или мысленно. Мысленно пока не умеем (точнее, плохо умеем). А попробуйте 10 минут подержать руку на весу. Да вы заебетесь. А управлять ПК нужно часами. Рука, которая держит мышь, лежит на столе хотя бы.

раскрыть ветку (3)
Автор поста оценил этот комментарий

Зачем на весу? Пусть лежит на столе.

раскрыть ветку (2)
Автор поста оценил этот комментарий

И как вы себе представляете управление жестами, когда рука лежит на столе?)

раскрыть ветку (1)
Автор поста оценил этот комментарий

Камера определяет что в объектив попадает нечто похожее на мою лапку.

Сгибается указательный палец - нажать м1.

Разгибание указательного - отпустить м1.

И т.д.


Сложное здесь только в определении что считать за центр.

Автор поста оценил этот комментарий

Тем, что манипуляторами это делать проще.

Как вы думаете, когда меньше устаешь: Спокойно печатая или двигая рукой в тысячах различных жестов?

раскрыть ветку (3)
Автор поста оценил этот комментарий

Неправильно вопрос поставлен. Чем проще двигать, мышкой или пустой рукой?

раскрыть ветку (2)
Автор поста оценил этот комментарий

Мышкой. Она лежит на столе и усилия требуются только для ее сдвига по горизонтали (при довольно незначительном трении).

Руку же нужно держать на весу, чтобы изображать различные символы.

раскрыть ветку (1)
Автор поста оценил этот комментарий

Я же русским по-белому написал - рука лежит на столе, камера отслеживает горизонтальные движения и сгибание пальцев.

DELETED
Автор поста оценил этот комментарий

И что нам говорят глухие?))

Автор поста оценил этот комментарий

Глухие какбэ для этого нужен комп. Если есть комп - напечатать на клавиатуре будет быстрее, все равно получится тот же текст на экране

и наоборот.

Он на язык жестов не переводит. Распознавание голоса - та ещё жопа

13
Автор поста оценил этот комментарий

Ну ПК - это же не вся область применения. Есть куча кейсов, где перевод будет полезен, а клавиатуры нет. Навскидку - при таможне в аэропортах, на вокзалах, в социальных учреждениях, больницах, отелях. Все что потребуется - установить камеру в нужном месте, и, возможно, эту зону как-то обозначить. И человек сможет нормально и полноценно общаться с персоналом. Кстати, наверняка это может работать и наоборот. Сотрудник учреждения говорит, а программка переводит в язык жестов и воспроизводит их на экране.

раскрыть ветку (13)
3
Автор поста оценил этот комментарий

вы заменяете одно устройство ввода текста на другое:

первое, клавиатура которая делает ровно то что нужно и даже больше. Могут использовать и глухие, и немые, и обычные люди.

второе, это камера + компьютер, где нужно как минимум знать язык жестов что сужает область применения. Я так же сильно сомневаюсь что в ней не будет ошибок распознавания, а скорость будет выше чем у клавиатуры.


Возможно я что-то упускаю, но пока выглядит весьма странным инструментом.

5
Автор поста оценил этот комментарий
Глухой может текст набрать. Не глухой не сможет этой штукой пользоваться без обучения
раскрыть ветку (1)
4
Автор поста оценил этот комментарий

Простите, а зачем не глухому вообще использовать эту штуку, если у него есть голосовые связки. Я же вам даже примеры привел. Это не для ввода данных в ПК, а в первую очередь для коммуникации с человеком, который стоит перед тобой.

Автор поста оценил этот комментарий

Вот в аэропортах и прочих массовых местах еще может быть. Но все же глухие вполне умеют писать и читать. Да, менее удобно, но не так критично.


Перевод из голоса в жесты.... Для этого сурдопереводчиков и нанимают! Альтернатива - тот же текст, распознавание голоса в текст уже реализовано очень неплохо.


И да, языки жестов для разных стран отличаются, где-то попадалась по этому поводу информация или по зомбоящику, или зомбо-интернету.

раскрыть ветку (9)
1
Автор поста оценил этот комментарий
Ну попробуй голосом надиктуй абзац, чтоб корректно распознало с запятыми и т д.
раскрыть ветку (6)
1
Автор поста оценил этот комментарий

Если ставить противопоставление "голос в текст" и "голос в жесты", то в обоих случаях будет одна и та же проблема угадывания знаков препинания.

Да, в языке жестов тоже имеются знаки препинания.


А противопоставлять набор текста на клавиатуре - набору жестами... тут да, есть своя ниша (крохотная такая).

Конечно, будет полезно если такую проблему решат, но опять же - эта проблема не является критически важной, или большая часть глухих не смогут научиться печатать на клавиатуре или писать на бумажке?

раскрыть ветку (4)
1
Автор поста оценил этот комментарий

Тут "жесты в голос". Прожестикулировать быстрее, чем написать)

раскрыть ветку (3)
1
Автор поста оценил этот комментарий

Ок, значит обсуждаем "жесты в голос" получается.

Хорошо, а как там жесты соотносятся с особенностями русского языка? Не получится ли тогда этакий робот-иностранец, который отлично знает слова, но, к примеру, будет путать кота с кошкой и говорить "белый окно" ?

К слову, там если по ссылке пройти, то в оригинальной статье пока что говорится о реализованном переводе "алфавитных" жестов, остальное пока в планах
раскрыть ветку (1)
Автор поста оценил этот комментарий

@SupportTech, запишите плиз в TODO багу если она тама не живет еще. Можно восстановить удаленный комментарий если он был удален более чем 10 минут назад. При этом этот комментарий также имеет дату создания более чем 10 минут. Отсюда вытекает ситуация когда пользователь может случайно восстановить комментарий, но удалить или редактировать его уже не сможет.

Автор поста оценил этот комментарий

Ок, значит обсуждаем "жесты в голос" получается.

Хорошо, а как там жесты соотносятся с особенностями русского языка? Не получится ли тогда этакий робот-иностранец, который отлично знает слова, но, к примеру, будет путать кота с кошкой и говорить "белый окно" ?

Автор поста оценил этот комментарий
Не во всех программах реализовано
Автор поста оценил этот комментарий

Перевод из голоса в жесты.... Для этого сурдопереводчиков и нанимают!

Ну вы же не будете обучать каждого кассира языку жестов. Это утопия. А стоимость оборудования, если эта технология сможет дорасти до рабочего состояния - одна хорошая вебкамера, и, возможно, доступ в интернет. Как это сейчас работает с "окей гуглом" и подобным. Это нейросеть же, в любом случае, ибо каждый жест уникален в своем роде, имхо, и нужно большое количество примеров для нормального распознавания.

Всем будет очень удобно, когда даже на кассе в крупном магазине ты сможешь спокойно изъясняться привычным тебе способом, без "костылей".

раскрыть ветку (1)
1
Автор поста оценил этот комментарий

Процент глухих не окупит трудозатраты. Как бы цинично это не звучало.

Вы смотрите срез комментариев. Чтобы написать комментарий, перейдите к общему списку