«Мы надеемся, что это откроет простой способ для людей, использующих язык жестов, общаться напрямую с лицами, не подписывающими соглашение, без необходимости перевода для них кого-то другого», – сказал Джун Чен, доцент кафедры биоинженерии в Инженерной школе Самуэли Калифорнийского университета в Лос-Анджелесе. и главный исследователь исследования. "Кроме того, мы надеемся, что это поможет большему количеству людей выучить язык жестов самостоятельно."
Система включает пару перчаток с тонкими растягивающимися датчиками, которые проходят по длине каждого из пяти пальцев. Эти датчики, сделанные из электропроводящей пряжи, улавливают движения рук и положения пальцев, обозначающие отдельные буквы, цифры, слова и фразы.
Затем устройство преобразует движения пальцев в электрические сигналы, которые отправляются на печатную плату размером с доллар, которую носят на запястье. Плата передает эти сигналы по беспроводной сети на смартфон, который переводит их в произносимые слова со скоростью примерно одно слово в секунду.
Исследователи также добавили клейкие датчики на лица тестировщиков – между бровями и на одной стороне рта – чтобы уловить выражения лиц, которые являются частью американского языка жестов.
По словам Чена, предыдущие носимые системы, которые предлагали перевод с американского языка жестов, были ограничены громоздкими и тяжелыми устройствами или были неудобны для ношения.
Устройство, разработанное командой UCLA, изготовлено из легких и недорогих, но долговечных, растяжимых полимеров. Электронные датчики также очень гибкие и недорогие.
При тестировании устройства исследователи работали с четырьмя глухими людьми, использующими американский язык жестов. Пользователи повторяли каждый жест рукой 15 раз.
Специальный алгоритм машинного обучения превратил эти жесты в буквы, числа и слова, которые они представляли. Система распознала 660 знаков, включая каждую букву алфавита и цифры от 0 до 9.