유리 파편과 수중 투명 물체를 잡을 수 있는 Tsinghua는 성공률이 매우 높은 범용 투명 물체 잡기 프레임워크를 제안했습니다.

복잡한 환경에서 투명한 물체를 인식하고 파악하는 것은 로봇 공학 및 컴퓨터 비전 분야에서 문제로 인식되고 있습니다. 최근 Tsinghua University Shenzhen International Graduate School 팀과 협력자들은 RGB 카메라와 촉각 감지 기능을 갖춘 기계식 클로 TaTa를 기반으로 하는 시각-촉각 융합 투명 객체 파악 프레임워크를 제안했으며 sim2real을 사용하여 파악 위치 감지를 실현했습니다. 투명한 물체의. 이 프레임워크는 유리 조각과 같은 불규칙한 투명 물체를 잡는 문제를 해결할 수 있을 뿐만 아니라 겹쳐지거나 쌓이거나 고르지 않은 모래 더미, 심지어 매우 역동적인 수중 투명 물체를 잡는 문제도 해결할 수 있습니다.

Pictures

투명한 물체는 아름다움, 단순성 및 기타 특성으로 인해 생활에서 널리 사용됩니다. 예를 들어 주방, 상점, 공장에서 볼 수 있습니다. 투명한 물체는 흔하지만, 투명한 물체를 잡는 것은 로봇에게 매우 어려운 문제입니다. 여기에는 세 가지 주요 이유가 있습니다:

pictures

1. 자체 텍스처 속성이 없습니다. 투명한 물체의 표면 정보는 환경의 변화에 ​​따라 변하며, 생성되는 질감은 대부분 빛의 굴절과 반사에 의해 발생하므로 투명한 물체를 감지하는 데 큰 어려움이 있습니다.

2. 투명한 데이터 세트의 주석은 일반 개체의 주석보다 어렵습니다. 실제 장면에서는 인간이 투명한 물체의 이미지에 라벨을 붙이는 것은 물론, 유리와 같은 투명한 물체를 구별하는 것이 어려울 때도 있습니다.

3. 투명한 물체의 표면은 매끄러우므로 잡는 위치가 조금이라도 어긋나면 잡는 작업이 실패할 수 있습니다.

따라서 다양하고 복잡한 장면에서 투명 물체를 포착하는 문제를 어떻게 하면 적은 비용으로 해결할 수 있는가가 투명 물체 연구 분야에서는 매우 중요한 이슈가 되었습니다. 최근 칭화대학교 심천국제대학원 지능형 인식 및 로봇공학팀은 투명한 물체의 감지 및 잡기를 실현하기 위해 시각 및 터치 융합을 기반으로 하는 투명한 물체 잡기 프레임워크를 제안했습니다. 이 방법은 잡기 성공률이 매우 높을 뿐만 아니라 다양하고 복잡한 장면에서 투명한 물체를 잡는 데에도 적용할 수 있습니다.

Pictures

다음 논문 링크를 확인하세요: https://ieeeexplore.ieee.org/document/10175024

교신저자인 청화대학교 심천 국제 대학원 Ding Wenbo 부교수 논문에서는 "로봇은 홈 서비스 분야에서 큰 응용 가치를 보여왔지만 현재 로봇의 대부분은 단일 분야에 초점을 맞추고 있습니다. 범용 로봇 파악 모델의 제안은 프로모션에 큰 촉진을 가져올 것입니다."라고 말했습니다. 그리고 로봇 기술의 적용입니다. 비록 투명 물체가 연구 대상으로 사용되지만 이 프레임워크는 생활 속의 일반적인 물체를 파악하는 작업으로 쉽게 확장될 수 있습니다. "

논문의 교신저자인 Liu Houde 연구원. Tsinghua University Shenzhen International Graduate School은 "가족 장면에서 구조화되지 않은 환경은 로봇의 실제 적용에 큰 도전을 가져옵니다. 우리는 시각과 촉각 인식을 통합하여 인간이 외부 세계와 상호 작용할 때 인식 과정을 더욱 시뮬레이션하여 더 많은 것을 제공합니다. 시각과 촉각을 통합하는 것 외에도 우리가 제안한 프레임워크는 청각과 같은 더 많은 양식으로 확장될 수도 있습니다. "

연구 상태

투명 물체를 잡는 것은 어려운 일입니다. 이 작업을 위해서는 잡는 과정에서 물체의 위치를 ​​감지하는 것 외에도 잡는 위치와 각도도 고려해야 합니다. 현재 투명한 물체를 잡는 작업은 대부분 단순한 배경의 평면에서 이루어지지만 실제 생활에서는 대부분의 장면이 실험 환경만큼 이상적이지는 않습니다. 유리 조각, 더미, 겹침, 기복, 모래 및 수중 장면과 같은 일부 특수 장면은 더 어렵습니다.

• 우선, 유리 조각은 고정된 모델이 없는 물체입니다. 임의적이고 변경 가능한 모양으로 인해 파지 네트워크 및 파지 도구의 다양성이 요구됩니다.
• 두 번째로, 기복이 있는 평면에서 투명한 물체를 잡는 것도 어렵습니다. 아래 그림에서 볼 수 있듯이 투명한 물체의 깊이 정보는 정확하게 얻기 어렵고, 기복이 있는 장면에는 그림자, 겹침 및 반사 영역이 일부 포함되어 감지가 더 어려워집니다. 투명한 물체의.
• 셋째, 물과 투명한 물체의 광학적 특성이 유사하기 때문에 수중 장면에서 투명한 물체를 잡는 것도 어렵습니다. 깊이 카메라를 사용해도 물 속에서 투명한 물체를 정확하게 감지할 수 없으며, 다양한 방향에서 빛을 비추면 상황이 더욱 악화됩니다.

Pictures

Algorithm design

Pictures

Grasping 알고리즘 설계는 그림에 나와 있습니다. 투명한 물체의 파지 위치 감지를 별도로 제안했습니다. 알고리즘, 촉각정보 추출 알고리즘, 시각-촉각 융합 분류 알고리즘. 데이터 세트에 레이블을 지정하는 비용을 줄이기 위해 Blender를 사용하여 12,000개의 합성 이미지와 160개의 실제 이미지가 포함된 합성 데이터 세트 SimTrans12K를 캡처하는 다중 배경 투명 개체를 만들었습니다. 데이터 세트 외에도 투명 물체의 고유한 광학 특성에 대한 Gaussian-Mask 주석 방법도 제안합니다. 우리는 Jamming 그리퍼를 실행기로 사용하기 때문에 합성 데이터 세트에 대한 훈련 후 좋은 탐지 결과를 얻을 수 있는 특수 파악 네트워크 TGCNN을 제안합니다.

Grasping Framework

우리는 위의 알고리즘을 통합하여 다양한 시나리오에서 투명 개체 잡기를 완료했습니다. 이는 시각적 터치 융합 프레임워크의 상위 수준 잡기 전략을 구성합니다. 우리는 파악 작업을 물체 분류, 파악 위치 감지, 파악 높이 감지라는 세 가지 하위 작업으로 분해합니다. 각 하위 작업은 시각, 촉각 또는 시각-접촉 융합을 통해 수행할 수 있습니다.

쥐는 인간의 행동과 유사하게 시각이 물체의 정확한 위치를 직접 얻을 수 있다면, 아래 그림(A)과 같이 손을 제어하여 물체에 직접 닿아 잡을 수 있습니다. 시각으로 물체의 위치 정보를 정확하게 얻을 수 없는 경우 시각을 이용해 물체의 위치를 ​​추정한 후 손의 촉각 감지 기능을 이용해 물체에 닿을 때까지 잡는 위치를 천천히 조정하여 적절한 잡는 위치가 됩니다. 아래 (B)와 같이 도달했습니다. 제한된 시각 조건에서 물체를 파악하기 위해서는 아래 그림(C)와 같이 손의 풍부한 촉각 신경을 사용하여 물체와 접촉할 때까지 대상의 가능한 범위 내에서 검색합니다. 이는 매우 비효율적입니다. , 그러나 이는 이러한 특수한 시나리오에서 객체 잡기를 해결하는 효과적인 방법입니다.

Pictures

인간의 잡기 전략에서 영감을 받아 투명한 물체의 잡기 작업을 아래와 같이 복잡한 배경이 있는 평면, 불규칙한 장면 및 시각적으로 감지할 수 없는 장면의 세 가지 유형으로 나눕니다. 첫 번째 유형에서는 시각이 중요한 역할을 하며, 이 시나리오에서 파악 방법을 비전 우선 파악 방법으로 정의합니다. 두 번째 유형에서는 시각과 촉각이 함께 작동할 수 있으며, 이 시나리오의 파악 방법을 시각적 촉각 파악으로 정의합니다. 마지막 유형에서는 시각이 실패하고 터치가 작업에서 지배적이 됩니다. 이 시나리오에서는 잡는 방법을 터치 우선 잡는 방법으로 정의합니다.

Pictures

아래 그림은 시각 우선 쥐기 방법의 흐름을 보여줍니다. 먼저 TGCNN을 사용하여 쥐는 위치와 높이를 얻은 다음 촉각 정보를 사용하여 쥐는 위치를 보정합니다. , 마지막으로 시각-촉각 융합 알고리즘을 사용하여 분류합니다. 시각적 촉각적 파악은 이전 기술을 기반으로 터치를 사용하여 물체의 높이를 얻을 수 있는 THS 모듈을 추가합니다. 촉각 우선 파악 접근 방식은 촉각을 사용하여 투명한 물체의 위치를 ​​파악하는 TPE 모듈과 결합되었습니다.

실험적 검증

우리가 제안한 프레임워크와 알고리즘의 유효성을 검증하기 위해 수많은 검증 실험을 수행했습니다.

먼저 제안된 투명 물체 데이터 세트, 주석 방법 및 위치 파악 네트워크의 유효성을 테스트하기 위해 다양한 배경과 밝기에서 합성 데이터 감지 실험과 투명 물체 파악 위치 감지 실험을 수행했습니다. 둘째, 시각-촉각 융합 파악 프레임워크의 유효성을 검증하기 위해 투명 물체 분류 파악 실험과 투명 파편 파악 실험을 설계했습니다. 셋째, THS 모듈과 TPE 모듈을 추가한 후 프레임워크의 효율성을 테스트하기 위해 불규칙하고 시각적으로 제한된 장면에서 투명한 물체 파악 실험을 설계했습니다.

요약

투명 물체를 감지하고 파악하고 분류하는 까다로운 문제를 해결하기 위해 본 연구에서는 합성 데이터 세트를 기반으로 한 시각-촉각 융합 프레임워크를 제안합니다. 첫째, Blender 시뮬레이션 엔진은 수동으로 주석이 달린 데이터 세트 대신 합성 데이터 세트를 렌더링하는 데 사용됩니다.

또한 기존 바이너리 주석 방법 대신 Gaussian-Mask를 사용하여 그랩 위치 생성을 보다 정확하게 만듭니다. 투명한 물체의 파지 위치를 탐지하기 위해 저자는 TGCNN이라는 알고리즘을 제안하고 여러 가지 비교 실험을 수행한 결과, 합성 데이터 세트만 사용하여도 다양한 배경과 조명에서 알고리즘이 잘 수행될 수 있음을 보여줍니다. 좋은 탐지를 달성하기 위한 조건.

시각적 감지의 한계로 인해 발생하는 쥐기 어려움을 고려하여, 본 연구에서는 촉각 정보로 쥐는 위치를 조정하여 쥐기 성공률을 향상시키기 위해 소프트 그리퍼 TaTa와 결합된 촉각 보정 방법을 제안합니다. 순수한 시각적 파악에 비해 이 방법은 파악 성공률을 36.7% 향상시킵니다.

복잡한 장면에서 투명한 물체를 분류하는 문제를 해결하기 위해 본 연구에서는 시각만으로 분류하는 것보다 정확도가 39.1% 향상되는 시각-촉각 융합 기반의 투명 물체 분류 방법을 제안합니다.

또한, 불규칙하고 시각적으로 감지할 수 없는 장면에서 투명한 물체 파악을 달성하기 위해 본 연구에서는 시각적 정보가 없는 상황에서 투명한 물체 파악 문제를 보완할 수 있는 THS 및 TPE 모듈을 제안합니다. 연구진은 다양한 중첩, 중첩, 기복, 모래 영역, 수중 장면 등 복잡한 장면에서 제안된 프레임워크의 유효성을 검증하기 위해 다수의 실험을 체계적으로 설계했습니다. 연구에서는 제안된 프레임워크가 연기, 탁한 물과 같이 가시성이 낮은 환경에서 객체 감지에도 적용될 수 있다고 믿습니다. 여기서 촉각 인식은 시각적 감지 부족을 보완하고 시각-촉각 융합을 통해 분류 정확도를 향상시킬 수 있습니다.

저자 소개

시각-촉각 융합 투명 물체 파악 프로젝트의 강사는 Ding Wenbo입니다. 그는 현재 칭화대학교 심천 국제 대학원 부교수로 재직하며 지능형 인식을 선도하고 있습니다. 그리고 로봇공학 연구 그룹입니다. 그의 연구 관심 분야는 주로 신호 ​​처리, 기계 학습, 웨어러블 장치, 유연한 인간-컴퓨터 상호 작용 및 기계 인식입니다. 그는 이전에 칭화대학교 전자공학과에서 학사 및 박사 학위를 취득했으며, 조지아 공과대학에서 박사후 연구원으로 근무하면서 왕중린(Wang Zhonglin) 학자 밑에서 공부했습니다. 그는 칭화대학 특별상, 제네바 제47회 국제발명품박람회 금메달, IEEE Scott Helt 기념상, 중국 전자학회 자연과학상 2등상 등 많은 상을 수상했습니다. Nature Communications, Science Advances, Energy and Environmental Science, Advanced Energy에서 일했으며 재료, IEEE TRO/RAL 및 기타 분야의 권위 있는 저널에 70편 이상의 논문을 발표했으며 Google에서 6,000회 이상 인용되었습니다. 학자이며 중국과 미국에서 10개 이상의 특허를 승인했습니다. 그는 권위 있는 국제 신호 처리 저널인 Digital Signal Process의 부편집장, 로봇 인식에 관한 IEEE JSTSP 특별호의 수석 객원 편집자, IEEE 신호 처리 협회의 응용 신호 처리 시스템 기술 위원회 회원입니다.

연구회 홈페이지 : http://ssr-group.net/.

왼쪽부터: Shoujie Li, Haixin Yu, Houde Liu

논문의 공동 저자는 Shoujie Li(칭화대학교 박사과정 학생)와 Haixin Yu(칭화대학교 석사과정 학생)입니다. 교신저자는 Wenbo Ding과 Houde Liu입니다. 다른 저자로는 Linqi Ye(상하이대학교)와 Chongkun Xia(칭화대학교), Xueqian Wang(칭화대학교), Xiao-Ping Zhang(칭화대학교). 그 중 Shoujie Li의 주요 연구 방향은 로봇 파악, 촉각 인식 및 딥 러닝입니다. 제1저자로 Soft Robotics, TRO, RAL, ICRA, IROS 등 권위 있는 로봇 공학 및 제어 저널과 컨퍼런스에 많은 논문을 발표했습니다. ., 그리고 10개의 발명특허를 승인했으며, 나머지 프로젝트는 10개의 주정부 및 장관급 경쟁상을 수상했습니다. 관련 연구 결과는 "ICRA 2022 뛰어난 메커니즘 및 디자인 논문 최종 후보"에서 제1저자로 선정되었습니다. 청화대학교 미래장학금 및 국가장학금.

위 내용은 유리 파편과 수중 투명 물체를 잡을 수 있는 Tsinghua는 성공률이 매우 높은 범용 투명 물체 잡기 프레임워크를 제안했습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!