Однако робототехники из Университета Карнеги-Меллона сообщают об успехе с новой методикой, которую они разработали для обучения роботов подбирать эти проблемные объекты. Эта техника не требует сложных датчиков, исчерпывающего обучения или руководства человека, но в первую очередь полагается на цветную камеру. Исследователи представят эту новую систему на виртуальной конференции Международной конференции по робототехнике и автоматизации этим летом.
Дэвид Хелд, доцент Института робототехники CMU, сказал, что камеры глубины, которые освещают объект инфракрасным светом для определения его формы, хорошо работают для определения непрозрачных объектов.
Но инфракрасный свет проходит сквозь прозрачные объекты и рассеивается на отражающих поверхностях. Таким образом, камеры глубины не могут рассчитать точную форму, в результате чего прозрачные и отражающие объекты получают в основном плоские или изрезанные дырами формы.
Но цветная камера может видеть прозрачные и отражающие объекты, а также непрозрачные.
Поэтому ученые CMU разработали систему цветной камеры для распознавания форм на основе цвета. Стандартная камера не может измерять формы, как камера глубины, но исследователи, тем не менее, смогли обучить новую систему имитировать систему глубины и неявно определять форму для захвата объектов.
Они сделали это, используя изображения непрозрачных объектов с камеры глубины в паре с цветными изображениями тех же самых объектов.
После обучения система цветной камеры применялась к прозрачным и блестящим объектам.
На основе этих изображений, а также любой скудной информации, которую могла предоставить камера глубины, система могла с высокой степенью успеха захватывать эти сложные объекты.
«Иногда мы упускаем, – признал Хелд, – но по большей части она работала довольно хорошо, намного лучше, чем любая предыдущая система захвата прозрачных или отражающих объектов."
По словам Томаса Венга, доктора философии, система не может улавливать прозрачные или отражающие объекты так же эффективно, как непрозрачные.D. студент по робототехнике.
Но это намного успешнее, чем одни только системы камер глубины. А мультимодальное передающее обучение, используемое для обучения системы, было настолько эффективным, что цветовая система оказалась почти такой же хорошей, как и система камеры глубины, при обнаружении непрозрачных объектов.
«Наша система не только может захватывать отдельные прозрачные и светоотражающие объекты, но также может захватывать такие объекты в загроможденных кучах», – добавил он.
Другие попытки роботизированного захвата прозрачных объектов основывались на обучающих системах, основанных на исчерпывающе повторяющихся попытках захвата – порядка 800 000 попыток – или на дорогостоящей маркировке объектов человеком.
В системе CMU используется коммерческая камера RGB-D, способная отображать как цветные изображения (RGB), так и изображения глубины (D).
Система может использовать этот единственный датчик для сортировки вторсырья или других коллекций объектов – непрозрачных, прозрачных, отражающих.
Видео: https: // www.YouTube.com / watch?v = Gny7NfmqyOk & feature = emb_logo