[논문 읽기] (2022) Robot Grasping Based on Stacked Object Classification Network and Grasping Order Planning

* 요약

이 논문에서는, 객체 탐지와 파지 순서 계획을 기반으로 쌓여있는 물건에서 로봇 파지가 연구되었다. 첫째로, SOCN은 쌓여있는 객체를 인식하기 위해 제안되었다. 네트워크는 inverse density parameter를 조절하기 위해 보이는 객체를 고려하고 있다. 훈련 작업을 더 빠르고 스무스하게 만들기 위한. 그와 동시에, SOCN은 transformer architecture을 채택하고 특징 학습에 있어 self-attention mechanism을 가진다. 다음으로, 파지 순서 계획 방법이 조사된다. 안전 점수에 의존하고, 쌓여있는 물건 사이에서 geometric 관계와 의존성을 추출하는, 그것은 객체 관계, 분류, 사이즈에 기반하여 안전 점수를 계산한다. 제안된 방식은 파지 업무를 완수하기 위해 depth camera와 UR-10 로봇을 사용하여 평가된다. 결과는 우리의 방식이 쌓여있는 객체 분류에 있어 높은 정확도를 가지는 것으로 보여진다. 또한, 파지 주문이 효과적으로 성공적으로 안전하게 실행되는 것으로 보여진다.

 

* 키워드

로봇 파지, 쌓여있는 객체 분류, 파지 주문 계획

 

1. 소개

   로봇은 객체를 인지하고, action 순서를 계획하며, 업무를 독립적으로 완수하기를 기대받는다. 복잡하고 다양한 환경에서 조작될때. 특히 파지 업무에서는, 로봇이 환경적 제한 조건 하에서 이유있는 파지 액션 주문을 계획하고, 파지 업무를 무사히 완수하기 위해 주변 정보를 파악할 필요가 있다. 

   로봇 파지 업무에서 두가지 주요 단계가 있다: 객체 탐지와 파지 주문 계획. 객체 탐지를 통해, 로봇은 환경을 인지하고, 객체에 대한 정보를 얻을 수 있다. 파지 주문 계획에서는, 로봇이 객체를 움직이고 충돌을 피하기 위해, 적합한 이동방법을 찾아내고 모션을 이동시킨다.

   수많은 연구는 산업 로봇에서 객체 탐지 및 파지 주문 계획을 실행해왔다. 그리고 파지 업무에 있어서 키포인트를 그 연구들로부터 얻을 수 있다: (1) stable한 인식 알고리즘이 필수적이다. 쌓여있는 물건을 분류하기 위해, 다양한 stacked 시나리오 때문에 서로 다른 occlusion이 다르거나 이상한 모양으로 발생하는게 가장 큰 도전과제이다. 인식 알고리즘은 정확하게 객체를 탐지하고 geometric 특징을 얻어야 한다. (2) stacked 객체를 위해서는, scene에서의 독립체 사이에 있는 geometric 관계와 의존성을 추출하는 것이 매우 중ㅇ하다. 이를 통해서 로봇은 객체가 떨어지거나 충돌하는 문제를 피하기 위한 움직임을 계획할 수 있다.

   이러한 두가지 포인트에 집중하기 위해, SOCN에 기반한 로봇 파지 연구와 stacked objects를 위한 파지 주문 계획 방식 연구가 이 논문에서 제안되었다. 제안된 연구의 구조는 그림1에서 보여진다. 첫째로, 객체의 point cloud 자료는 우리 방식의 입력값으로 얻어지고 segment된다. 그리고 나서 제안한 SOCN과 관계 탐색 네트워크를 사용하여, 우리는 객체 분류와 객체 간 관계를 얻을 수 있다. 마지막으로, 객체 분류, 관계, 사이즈, 파지 주문의 안전 점수는 파지 업무를 완수하기 위해 계획된다.

   우리의 연구 기여는 다음과 같이 요약될 수 있다:

   (1) SOCN은 stacked object 인식을 위해 제안된다. SOCN은 특징 학습을 하기 위해 self-attention mechanism을 채택하고, inverse density를 조절하기 위해 spatial scale이 고려된다. stacked object 분류를 위해서 인상깊은 인식 정확도에 도달 가능케 한다.

   (2) stacked object를 위해 안전하고 효과적인 파지 주문 계획이 제안되었다. 이 방식은 visual 센서 데이터에 기반하여 관계 탐색 네트워크를 사용함으로써 stacked objects에서의 geometric 관계와 의존성을 자동적으로 얻을 수 있다. 객체 간 관계만을 고려했던 방식과는 달리, 이 방식은 파지 주문을 계획하고 안전 점수를 계산하기 위해 객체 관계, 객체 클래스, 객체 사이즈를 고려한다. 다양한 객체 파지 업무에서 그것을 안전하고 유연하게 만드는.

   이 논문은 다음과 같이 구성되어있다. 섹션 2에서는 파지 업무에 관한 연구를 소개한다. 섹션 3에서는 point cloud segmentation을 이해하기 위한 알고리즘을 제안하고, point object 분류에 달성하기 위한 SOCN을 제안한다. 섹션 4에서는 안전 점수를 기반으로한 파지 주문 계획 방식을 제안한다. 섹션 5에서는, 로봇 파지, 객체 분류, 파지 주문 등의 실험결과가 있다. 섹션 6에서는 결론이 제공된다.

 

2. 관련 연구

 

3. Stacked Objects Detection: Point Cloud Segmentation and Objects Classification

   이 섹션에서는, stacked object을 분류하기 위해 SOCN이 제안된다. 이 방식에서는 두가지 단계가 있다. 첫째로, stacked object의 point cloud 데이터가 segment된다. 그리고 나서 segment된 point cloud의 특징을 추출하기 위해 SOCN에서의 모듈 PointConvSSN이 채택된다. 또한, 객체 분류를 하기위해 모듈 transformerSSN이 채택된다. SSN이 네트워크에서 spatial scale이다.

 

3.1 Point Cloud Segmentation

   stacked object에서는, 객체를 분류하고 계층적 관게를 얻어내기 위해 강인한 point cloud seg가 필수적이다.

   이 서브섹션에서는, 그림 2에서 보여지는 것처럼 각 객체를 독립적으로 만들기 위해 point cloud seg가 필요하다. 로봇 운영 공간의 복잡함은 stacked objects의 검색 속도에 영향을 준다. 특히, 로봇 운영 공간에서의 객체가 많을수록, 검색은 더더욱 느려진다. 그러므로, spatial 범위를 결정하고 관계없는 객체를 제거하기 위해 passthrough 알고리즘[30]이 사용된다. 게다가, platform point cloud data를 제거하기 위해 RANSAC[31]이 사용된다. plane model과 실제 scanning plane 사이에 적합 오류 때문에, 객체와 제거된 plane 사이에 noise artifact가 나타난다. 이러한 artifact를 제거하기 위해, point p0와 다른 point pi 사이에 평균 거리 d가 공식(1)과 (2)를 통해 계산된다. 만약 d가 distance threshold를 넘어선다면, point p는 outlier로 간주되어 point cloud로부터 제거된다.

U(x,y,z,e) : p0의 neighborhood

e : range threshold

n : point 양

   위와 같은 작업 이후에, stacked objects는 LCCP 알고리즘[32]에 의해 나누어진다. 알고리즘 1은 point cloud seg methodology의 자세한 사항을 요약한다.

그림 2. stacked objects의 point cloud seg.

(a) RGB 카메라로 읽어들인 객체의 모양

(b) depth 카메라로 읽어들인 원본 point cloud

(c) passthrough filter, RANSAC, outlier removal를 사용하여 point cloud pre-processing

(d) LCCP를 사용하여 point cloud seg.

 

[30] passthrough

Miknis, M.; Davies, R.; Plassmann, P.; Ware, A. Near real-ime point cloud processing using the PCL. In Proceedings of the 2015 International Conference on Systems, Signals and Image Processing (IWSSIP), London, UK, 10–12 September 2015; pp. 153–156.

[31] RANSAC

Qian, X.; Ye, C. NCC-RANSAC: A fast plane extraction method for 3- range data segmentation. IEEE Trans. Cybern. 2014, 44, 2771–2783.

[32] LCCP

Stein, S.C.; Schoeler, M.; Papon, J.; Wörgötter, F. Object Partitioning Using Local Convexity. In Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, 23–28 June 2014; pp. 304–311.