Главная » Hi-News » Школьник из России выиграл конкурс Google за разработку переводчика с языка жестов

Школьник из России выиграл конкурс Google за разработку переводчика с языка жестов

Таким вопросом задался российский десятиклассник Даниил Казанцев из Екатеринбургского лицея. Можно ли помочь глухонемым людям выразить свои мысли, автоматически переводя жесты руками, которые они показывают, в слова? Он разработал систему, которая может интерпретировать язык жестов и заменять сурдопереводчика. Решение разобраться в этой проблеме привело Даниила к победе в одной из категорий конкурса молодых ученых Google Science Fair 2019.

В итоге он получил премию Lego Education Builder за разработку своего переводчика языка жестов. Как указано на сайте конкурса Google, Казанцев прошел отбор среди тысяч других участников конкурса и стал одним из 24 финалистов из 14 стран мира.

Даниил крайний слева
Все финалисты конкурса.

Что такое электромиография?

В этом случае каждое движение конечности создает крошечные электрические сигналы, которые можно считать, а затем перевести в понятные для компьютера команды. В основе разработки юного российского гения лежит технология электромиографии, которая определяет электромеханическую активность мышц с учетом изменяющегося положения руки и пальцев. В частности, эта технология используется для управления искусственными протезами.

Читайте также: Как немые люди могут вновь обрести дар речи?

Но российский школьник разработал на основе технологии электромиографии систему, которая может переводить электрические сигналы мышц в слова.


Синими и белыми крестиками обозначены места расположения электродов, которые считывают электрические импульсы мышц

Как работает переводчик языка жестов

На манжете установлены 24 электрода, каждый из которых считывает определенные электрические сигналы мышц предплечья. Устройство состоит из манжеты, которая надевается на предплечье. На базе всех этих сигналов формируется уникальный «отпечаток» положения каждой отдельной части кисти в пространстве. Кроме того, здесь используется специальный датчик, который определяет положение предплечья в пространстве.

Этот микрокомпьютер оцифровывает сигналы с датчиков и электродов, после чего передает их в мощный вычислительный сервер со специально обученной нейросетью. Все собираемые сигналы усиливаются и фильтруются от лишнего электромагнитного шума, а затем по проводам передаются на внешний микрокомпьютер. Именно с помощью нейросети проводится интерпретации (перевод в слова) данных об электрических сигналах, отвечающих за каждый языковой жест.

Как проводилась проверка переводчика жестов

В качестве основы для перевода он использовал 5 жестов и популярного жестового языка ASL (American Sign Language). Проверку системы Даниил проводил на себе и двух других добровольцах.


Hello (привет); Yes (да); No (нет); Please (пожалуйста); I love you (я люблю тебя)

Как указывает автор разработки, система смогла показать 92,6-процентную точность при распознавании. Для проверки эффективности системы для каждого распознавания жеста использовалось 10 попыток.


В таблице отмечены участники эксперимента, наименования жестов, которые требуется распознать системе, а также количество верных распознаваний

Видео проверки технологии можно посмотреть ниже:

Есть несколько моментов, которые пока не позволяют использовать его в качестве готового решения. Даниил отмечает, продолжит работу над автономным сурдопереодчиком. Но пока не способна формировать из полученных слов предложения. Например, сейчас система может переводить только отдельные жесты. Решение этого вопроса станет одной из будущих задач юного ученого. Таким образом сейчас систему нельзя использовать в качестве полной замены сурдопереводчика.

Как она работает? Читайте также: Эта нейросеть знает, как вы будете выглядеть через 50 лет.

Однако автор отмечает, что современная скорость передачи данных по мобильному интернету позволяет обеспечить постоянный доступ к серверу, тем самым частично компенсируя этот недостаток. Кроме того, электронный сурдопереводчик требует постоянного доступа к мощному вычислительному серверу с нейросетью, которая производит распознавание сигналов языковых жестов и переводит их в слова. Автор также рассматривает возможность сделать устройство более компактным, уменьшив площадь расположения электродов до 7 сантиметров.

При этом от пользователя не потребуется никакой специальной подготовки для возможности использования такой системы. В целом отмечается, что при доработке такой технологии, ее можно будет использовать с любым жестовым словарем.

Более подробно с разработкой Даниила Казанцева можно ознакомиться на странице его проекта.

Там вы найдете эксклюзивные материалы, которые не были опубликованы на сайте! Если вам интересны новости науки и технологий, подпишитесь на наш канал в Яндекс.Дзен.





Оставить комментарий

Ваш email нигде не будет показанОбязательные для заполнения поля помечены *

*

x

Это интересно

Кофе может стать причиной выкидыша у беременных женщин

Будущим матерям как минимум нужно высыпаться, носить как можно более удобную одежду, не подвергать себя тяжелым физическим нагрузкам и соблюдать правильную диету. Во время беременности, когда внутри женщины формируется новое живое создание, необходимо соблюдать множество строгих правил. По мнению исследователей ...

Свиная кожа впервые помогла вылечить сильный ожог человека

К счастью, хирурги могут спасти жертв пожаров и других несчастных случаев от смерти путем пересадки кожи из другой части тела, но этот процесс длится довольно долго. По данным Всемирной организации здравоохранения, ежегодно от сильных ожогов умирает более 180 000 человек. ...