Исследователи Корнельского университета создали недорогой метод для мягких деформируемых роботов, позволяющий обнаруживать целый ряд физических взаимодействий, от похлопываний до ударов руками и объятий, вообще не полагаясь на прикосновения. Вместо этого USB-камера, расположенная внутри робота, фиксирует теневые движения жестов рук на коже робота и классифицирует их с помощью программного обеспечения для машинного обучения.
Документ группы «ShadowSense: обнаружение человеческого прикосновения в социальном роботе с использованием классификации теневых изображений», опубликованный в Proceedings of the Association for Computing Machinery on Interactive, Mobile, Wearable and Ubiquitous Technologies. Ведущий автор статьи – докторант Юхан Ху.
Новая технология ShadowSense – это последний проект Лаборатории взаимодействия и общения человека и робота, возглавляемой старшим автором статьи Гаем Хоффманом, доцентом Школы механической и аэрокосмической инженерии Сибли.
Технология возникла как часть усилий по разработке надувных роботов, которые могли бы направлять людей в безопасное место во время аварийной эвакуации.
Такой робот должен уметь общаться с людьми в экстремальных условиях и средах. Представьте себе робота, который физически ведет кого-то по шумному, задымленному коридору, обнаруживая давление руки человека.
Вместо того, чтобы устанавливать большое количество контактных датчиков, которые увеличивали бы вес робота и усложняли бы проводку, а также было бы трудно встроить его в деформирующуюся оболочку, команда пошла на нелогичный подход. Чтобы измерить прикосновение, они смотрели на зрение.
«Поместив камеру внутрь робота, мы можем сделать вывод, как человек прикасается к ней и каковы намерения человека, просто глядя на теневые изображения», – сказал Ху. «Мы думаем, что в этом есть интересный потенциал, потому что существует множество социальных роботов, которые не могут распознавать сенсорные жесты."
Прототип робота состоит из мягкого надувного пузыря из нейлоновой кожи, натянутого вокруг цилиндрического каркаса высотой примерно четыре фута, который установлен на мобильной основе. Под кожей робота находится USB-камера, которая подключается к ноутбуку.
Исследователи разработали алгоритм на основе нейронной сети, который использует ранее записанные данные обучения, чтобы различать шесть жестов касания – прикосновение ладонью, удары кулаком, прикосновение двумя руками, обнимание, указание и отсутствие прикосновения вообще – с точностью до 87.От 5 до 96%, в зависимости от освещения.
Робот можно запрограммировать так, чтобы он реагировал на определенные прикосновения и жесты, например откат или отправку сообщения через громкоговоритель. А кожу робота можно превратить в интерактивный экран.
По словам Ху, собрав достаточное количество данных, робота можно обучить распознавать еще более широкий словарь взаимодействий, адаптированный под задачу робота.
Робот даже не обязательно должен быть роботом. Технология ShadowSense может быть встроена в другие материалы, такие как воздушные шары, превращая их в сенсорные устройства.
ShadowSense предлагает не только простое решение сложной технической задачи и упрощение загрузки роботов, но и удобство, которое становится все реже в наше время высоких технологий: конфиденциальность.
«Если робот может видеть вас только в форме вашей тени, он может определить, что вы делаете, не делая высокоточных изображений вашей внешности», – сказал Ху. "Это дает вам физический фильтр и защиту, а также обеспечивает психологический комфорт."
Исследование было поддержано Национальной робототехнической инициативой Национального научного фонда.