1170

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши.

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши. Наука, Новости, Технологии, Информация

Глухой программист НГТУ НЭТИ обучил систему переводить жесты на русский язык и управлять компьютером без помощи мыши. (НГТУ, 6 сентября)


В начале августа выпускник НГТУ НЭТИ завершил работу над прототипом системы, который переводит язык людей с нарушениями слуха и управляет компьютером при помощи жестов.


Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.


Основная функция программы, над которой работает Алексей, — перевод. Система работает по аналогии с мозгом человека. При помощи камеры программа распознает картинку и фиксирует жесты, изображение переводит в модели и обрабатывает внутри системы, сопоставляя их с данными в нейронной сети, после чего компьютер выводит на монитор уже соответствующий жестам перевод.


Помимо встроенной функции переводчика система способна управлять компьютером при помощи жестов. Движениями рук можно настроить громкость, яркость и управлять курсором на экране без помощи мыши.


ИСТОЧНИК

Дубликаты не найдены

+39

Вызывает сомнение фраза-

Алексей Приходько — единственный глухой программист в мире, который работает над созданием автоматического переводчика жестов на звуковой язык.
раскрыть ветку 9
+72

он просто не слышал про других

раскрыть ветку 1
+22
Иллюстрация к комментарию
+20
Система работает по аналогии с мозгом человека.
Иллюстрация к комментарию
+10

ну больше то над его программой никто из глухих программистов не работает. так что всё правда

раскрыть ветку 2
0
Они про неё не слышали
0
Тут не только про его программу написано
+8

это BolgenOS ))) и эта хуйня

переводить жесты на русский язык

когда всё это давно работает, хуй стал переводчиком)))

+9

Он использовал API для кинекта... Ну ппц достижение.

раскрыть ветку 1
+1

Он не слышал о новых технологиях.

+26

в НГТУ на этой системе не 1 десяток дипломов защитили, а воз и ныне там. Ничего нового не придумано, система как может разрабатывается силами студентов и энтузиазмом преподавателя. Работал конкретно с этой программой 6 лет уже назад, по состоянию на тот момент - переливание воды, без создания продукта, просто чтобы был материал для защиты.

раскрыть ветку 1
+3

Наверное, решили в этот раз попиарится для гранта или еще почему.

Посмотрел пару видео - в одном аж по звуку слышно щелчки затвора фотокамеры (там еще и вспышка от камеры была заметна) когда он показывал распознавание рук, как на картинке в посте.

+82
Интересно, сколько такой способ дает преимущества в обращении с компом? Глухонемой он же не безрукий, может компом пользоваться классическим способом
раскрыть ветку 50
+26

Не могу найти видос, где безрукий чувак играет в каэс ногами. Сам придумал примитивный манипулятор ногами, вот это заслуживает восхищений!

раскрыть ветку 8
+14
Есть еще безрукий чувак, который ногами неплохо на гитарке играет. Или Ник Вуйчич. Вера в себя и сила духа творят чудеса.

...ну, и раз мы на Пикабу и тут не все боятся темноты.......
Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку 4
0
Это тот, который, полез майнить цветные металлы в электрическую установку? Spons его канал на тытрубе.
0
Есть чел, который играет в pubg ртом, на твиче Nohandsnoschoki. При том, неплохо играет, ещё и стрим ведёт.
0

Лень искать пост, но пару лет назад здесь был слепой чел, который в игрульки пошпилить любил. Правда на сколько на самом деле он был слеп...

+4
Нуу, лип моушн изобрел, молодец, чо. По вебке вон работает, гугль недавно либу выпустил для распознавания кисти и ее движения по камере, даж приложения на мобилу есть, шустро работают даже, ее и вкрутил наверно. Но все равно круто.
раскрыть ветку 5
0

Ты бы хоть название дал приложению. Если я правильно понимаю оно должно фиксировать мои конечности через камеру телефона и заменить мне мышку.

раскрыть ветку 3
0

Там справа кинект вроде стоит

+5

Чувак, вот представь лежишь ты на диване, ноут на животе/кубиках, играешь в приятную игру. И вот в порыве лагов, потеряв самообладание твоя мышка улетает далеко и надолго, но ты всё ещё можешь управлять компом с помощью жестов, или вывести картинку на здоровый телек и серфить инет вообще без клавиатуры/мыши/пульта.

раскрыть ветку 2
+2
Так то управление жестами уже давно существует
0
Если это ноут, то у тебя ещё тачпад остаётся. А уж если и тачпад улетел....
0
Сможет голосовухи слать в вк
0
Ну, в управлении обычного пк я тоже не вижу особого смысла, но вот допустим в управлении роботами или тем же умным домом?
0

Ты первый кто отметил это

раскрыть ветку 29
+5

При всем уважении, я тоже не понимаю, на хуй это нужно. Человек и так глухой, зачем ему ещё больше усложнять жизнь?

раскрыть ветку 14
+9

Ну ПК - это же не вся область применения. Есть куча кейсов, где перевод будет полезен, а клавиатуры нет. Навскидку - при таможне в аэропортах, на вокзалах, в социальных учреждениях, больницах, отелях. Все что потребуется - установить камеру в нужном месте, и, возможно, эту зону как-то обозначить. И человек сможет нормально и полноценно общаться с персоналом. Кстати, наверняка это может работать и наоборот. Сотрудник учреждения говорит, а программка переводит в язык жестов и воспроизводит их на экране.

раскрыть ветку 13
+8
и управлять компьютером без помощи мыши

Конкретно это я на алишке видел, но вроде дешевле было

Иллюстрация к комментарию
раскрыть ветку 1
+4

да это уже было тыщу раз, тотже kinect уже был давно сделан и тупо похоронен как не взлетевший

+7

Это для глухих не владеющих письменным языком, но владеющими языком жестов? Много их?

раскрыть ветку 1
+4

Глухие цыгане?)))

+3
Какие скучные новости. Каждый месяц глухие программисты Что то создают. Когда, наконец, бухой программист что то создаст?
раскрыть ветку 15
+6

Я могу написать Хеллоу ворлд на С++, Питоне, Паскале и языке Ада. И я всё время бухой.

раскрыть ветку 9
+4

На лиспе напиши, щенок ((())(())()()(((())))))

раскрыть ветку 2
+3

а я, коллега, к вашему коду ещё допишу на яве/джаве, руби, ассемблере, javascript'е, лиспе и оно даже будет компилироваться и работать(правда не везде). А по особым заявкам даже на моём любимом Forth

раскрыть ветку 5
+2

Аппарат для розлива алкоголя с точностью до миллиграмма подойдет ?

Или целый электронный бармен?

Еще есть автоматизация и контроль перегонки спирта в домашних условиях.

Иллюстрация к комментарию
Иллюстрация к комментарию
Иллюстрация к комментарию
раскрыть ветку 4
0
Иллюстрация к комментарию
0

А то, что в трубках, учитывается?

раскрыть ветку 2
+1

Этот парень достоин уважения!

раскрыть ветку 8
+1

За что?

раскрыть ветку 7
-4

А ты бы смог?

раскрыть ветку 3
-5

Ну не знаю, может за то, что он написал то, что работает? Точно так-же достойны уважения инженеры, механики и другие представители профессий, которые требуют умственного труда.

раскрыть ветку 2
ещё комментарии
+1
Достаточно было прочитать заголовок, сама статья просто повторяет заголовок многократно, иными словами. Вот нахера такое нести сюда? Даже плюса недостойно. А по сабжу - круто 😊
0

Давайте в начале сделаем электронную читалку со шрифтом Брайля для слепых?

0

А обязательно одно и то  же писать 100 раз за пост ?

0
Иллюстрация к комментарию
раскрыть ветку 1
+1
Иллюстрация к комментарию
Иллюстрация к комментарию
0

Такие новости надо публиковать в момент выхода готового продукта.

0

Тут вот вообще школьник что-то подобное сделал) https://vk.com/qwrtru?z=video-89379348_456239978%2F24d91df49...

Даниил Казанцев получил грант от Google за разработку устройства, которое поможет страдающим нарушениями слуха общаться без сурдопереводчика. Оно «переводит» жесты в слова.

Он стал одним из победителей конкурса Google Science Fair, сообщается в официальном блоге «Google Россия». Он получил премию Lego Education Builder.

Сурдопереводчик для людей с нарушениями речевого аппарата — это автономное устройство, которое переводит жесты рук в слова. По сути, с его помощью можно общаться с глухонемыми, не зная жестового языка, то есть он способен полностью заменить профессионального сурдопереводчика.

На руку человека вешается специальный датчик (манжетка), который считывает сокращения мышц. Все переведенные слова собираются в осмысленное предложение. После этого аппарат его озвучивает.

-1
Какие то костыли, не понятно действительно чем это поможет глухонемому... Как недавно видел пост, где чувак написал телеграм бота который аудио со́общение переводит в текст... Круто конечно.. но..бл
-1
Круто, но кажется это уже на али пару лет как продаётся, а может ошибаюсь
-1
Молодец мужик! Это более чем круто! Когда с глухотой не сталкивался-не поймёшь насколько важно создавать такие вещи. И нет, глухота не у меня, а у дочки. Надеюсь, что к моменту её взросления придумают ещё что-то, что поможет ей и другим коммуницировать с этим миром лучше и понятнее :)
-1
Ладно хоть по подъездам не ширятся
-1
Всё равно в России в это никто не вложится.Это же социалка,300% не накрутишь
-1
Есть чувак, который занимается дрифтом. Без рук
-1

Кибер Кашпировский)

-2

Коллеги на прошлой работе разработали алгоритм управления беспилотными подлодками на основании жестов, но использовали перчатки, подключенные к компу. Это было примерно в 2010 году

раскрыть ветку 8
+4
разработали алгоритм управления беспилотными подлодками на основании жестов, но использовали перчатки, подключенные к компу

Нахуя? В игре для рыбаков? Или там черти сутками посменно руками дрочат лодку? Изобрели kinnect? Пахнет пиздежом ибо это бесполезная дичь

раскрыть ветку 5
0

Ну порыбачь на нем, хули. Разработка для военных и ученых. Kinnect нельзя использовать из соображений безопасности, почему по-твоему начали свою ОС делать для военных? Лучше у мелкософта купить, зачем изобретать велосипед? Чтоб пиздежом попахивало)

Иллюстрация к комментарию
раскрыть ветку 2
0
Нахуя? А просто могли
раскрыть ветку 1
0

Вот, кстати, тоже вариант - сделать более точный вариант на перчатках с датчиками и гироскопами, чтоб жесты -> текст с озвучкой. Хотя, один фиг, в одну сторону только, разве что, перед залом выступать.

раскрыть ветку 1
0

тут кстати один чел публиковал серию статей как он такое пилит, ток у него была задача целый костюм запилить

Похожие посты
Возможно, вас заинтересуют другие посты по тегам: