[논문 읽기] (2016) Dex-Net 1.0

* 요약

이 논문은 Dex-Net 1.0을 제시한다. Dex-Net 1.0은 3D 객체 모델의 데이터셋을 사용하고, 샘플링 기반의 계획 알고리즘이다. 이 알고리즘은 Cloud Robotics가 강인한 파지 계획을 하기 위해 어떻게 사용될 수 있는지 탐험한다. 이 알고리즘은 correlated reward와 함께 Multi-Armed Bandit model을 사용한다. 이전의 파지와 3D 객체 모델을 leverage 하기 위해. 만개의 서로다른 3D 객체 모델과 2.5백만개의 parallel-jaw 파지를 포함하여 점점 많아지는 데이터셋. 각 파지는 불확실한 상황 속에서 force closure 확률을 예측한다. 객체와 그리퍼 포즈 그리고 마찰과 같은 불확실한 상황. Dex-Net 1.0은 Multi-View Convolutional Neural Networks(MV-CNNs)을 사용한다. MV-CNN은 3D 객체 분류에 사용되는 새로운 딥러닝 방법이다. 객체 사이에 유사 지표를 제공하기 위해. 동시에 1500개의 virtual core를 구동하도록 구글 클라우드 플랫폼, 크기의 세가지 order까지 실험의 runtime을 줄였다. 실험은 correlated bandit 기술이 객체 모델의 클라우드 기반의 네트워크를 사용할 수 있다고 제안한다. 로봇 파지 계획에 필요한 샘플의 수를 상당히 줄이기 위해. 우리는 유사 지표와 포즈나 마찰의 불확실한 상황 속 변화에 민감한 시스템을 발표한다. 코드와 업데이트된 정보는 다음의 주소에서 확인할 수 있다.

 

I. 소개

   클라우드 기반의 로봇과 자동화 시스템은 네트워크를 경유하여 데이터를 교환하고 계산을 수행한다. 제한된 계산과 메모리를 분리시킨채 수행하는 대신. 빅데이터를 포함한 클라우드 사용에 있어서 잠재적인 이점은 : 이미지, 지도, 객체/상품 정보에 대한 접근 ; 병렬 계산: 통계 분석, 머신러닝, 계획에 있어 grid computing에 대한 접근. Scaling effets는 컴퓨터 비전과 스피치 인식에서 최근 각광받고 있다. ImageNet과 같은 거대한 데이터셋으로부터의 학습은 수십년간 축적된 이전 연구의 성과를 아득히 넘어버렸다. 3D 객체 모델의 데이터셋이 로봇 파지 학습과 policy 조작에 적용되는 이 시점에서 analogous scaling effect가 갑자기 사용될 수 있을까? 이 질문은 다른 사람들에게도 많이 탐구되었다. 그리고 이 논문에서 우리는 새로운 3D 모델 데이터셋과 파지 계획 알고리즘을 사용하여 최초의 결과를 제시한다.

   이 논문의 첫번째 기여는 Dex-Net 1.0 알고리즘에 있다. 이 알고리즘은 강인한 parallel-jaw 파지 계산을 효율적으로 할 뿐만 아니라, 불확실한 상황 속에서 binary 파지 품질 지표를 기반으로하여 높은 성공확률을 보여주었다. 여기서 불확실한 상황이란 정밀하지 못한 sensing과 control을 의미한다. 이 알고리즘은 Multi-Armed Bandits로 강인한 파지 계획을 하는데 속도를 높여준다. 이는 Continuous Correlated Beta Processes(CCBPs)를 사용하여 이전 파지와 3D 객체 모델의 거대한 데이터셋으로부터 학습하여 이뤄진다. 이전 데이터를 기반으로한 예측된 파지 품질에 대한 믿음 분포를 추측하는데 효율적인 모델. 또한, 이 논문은 Dex-Net 1.0을 제시한다. 물류창고와 집에서 주로 보이는 만개의 3D 객체 모델의 데이터셋. 컨테이너, 도구, 탁자, 장난감 등. 나아가, 이 논문은 implemented cloud-based 알고리즘을 제시한다. sensing과 control에 의한 작은 변화 속에서도 force closure(Pf)의 높은 확률로 파지를 효율적으로 찾아내는 알고리즘.

   Dex-Net 1.0은 대락 2.5백만개의 parellel jaw grasp를 담고 있다. 각 객체는 250개의 파지와 Pf 예측값으로 레이블되어있다. 객체 포즈, 그리퍼 포즈, 그리고 마찰 계수에 의한 불확실한 상황 속에서. 우리는 MV-CNNs을 사용하였다. 3D 모양 분류를 위한 최신의 방식이다. CCBP와 함께 강인한 파지 품질을 예측하기 위해 비슷한 3D 객체를 효율적으로 추출하기 위해.

   우리는 Dex-Net 1.0 알고리즘을 Google Compute Engine에서 실행시켰고, Google Cloud Storage에 Dex-Net 1.0을 저장해두었다. 1500개의 instance에 대하여 한번에 3D 객체에 대한 파지 평가를 배포할 수 있는 시스템과 함께. 실험은 Dex-Net으로부터 만개의 이전 객체 모델 사용은 parallel-jaw 파지를 계획하는데 필요한 샘플의 수를 줄인다고 제안했다. Pf를 성공 지표로 사용할 경우, 평균적으로 45개의 객체에서 2x까지.

그림 1: Average normalized grasp quality. (Top) 스프레이는 1000개의 객체와는 비슷한 이웃이 없지만 다른 두 스프레이는 1만개의 객체 세트에서 MV-CNN으로 . (Bottom) 결과적으로, Dex-Net 1.0 알고리즘은 1만개의 prior 객체와 함께 최선의 파지로 빠르게 수렴한다.

 

III. 정의와 문제설정

   Cloud Robotics의 한 목표는 각 객체에 대한 강인한 다량의 파지 세트를 미리 계산하는 것이다. 이를 통해서 객체를 만났을때, 세트가 다운로드될 수 있어야 한다. 해당 세트는 객체에 clutter과 occlusion이 존재하여도 적어도 하나의 파지가 가능할 수 있도록 하는 세트여야 한다. 이 논문에서 우리는 parallel-jaw grasp를 효과적으로 계획하는 sub-problem을 고려한다. 이는 binary quality metric의 기대값을 최대화하는 것으로 계획된다. 해당 지표는 force closure(Pf) 확률을 사용할 수 있다. 객체 포즈, 그리퍼 포즈, 마찰 계수의 작은 변화 하에서도 주어진 3D 객체 모델을 위해서. Dex-Net 1.0 알고리즘은 강인함의 순위를 알 수 있는 파지 세트를 보여준다. 우리는 정확한 객체 모양이 signed distance function(SDF)과 같이 주어져있다고 가정한다. (SDF) f : R^3 -> R. 객체 표면에서는 0이고, 객체 밖으로는 양수이며, 객체 안쪽으로는 음수. 우리는 주어진 무게중심 z (R^3에 포함) 과 함께 미터법으로 구체화된 것으로 가정한다. 게다가, 우리는 soft-finger point가 Coulomb friction model로 접촉한다고 가정한다. 우리는 또한 gripper jaw가 닫히기 전에 항상 가장 큰 길이로 열리는 것을 가정한다.

 

A. Grasp and Object Parameterization

   파지 파라미터는 그림 2에 표현되어 있다. 

그림 2: grasp parameterization과 접촉 모델. (왼쪽) x ∈ (R^3) jaw의 중심, v ∈ (S^2) 접근 방향, jaw가 닫히는 방향. 파리미터 x와 v는 객체의 무게중심 z에서 직교좌표계로부터 구체화된다. 그리고 객체의 principal 방향에 따라 방향이 맞춰진다. (오른쪽) jaw는 c1,c2 ∈ (R^3) 지점에서 객체 표면에 접초가기 전까지 닫힌다. 표면은 normal vector n1,n2 ∈ (s^2)를 가진다. 접촉은 moment arm p = c - z를 계산하기 위해 사용된다.

 

g = (x,v) 는 3차원 공간에서의 x 좌표와 접근축 v에서 jaw의 중심에 의해 parameterize된 parallel-jaw grasp이다. SDF f와 무게중심 z로 이뤄진 객체 O = (f,z). 객체 O의 표면 S = {y ∈ (R^3) | (f(y) = 0}. 우리는 객체 무게중심 z와 표면 S의 주요축에 따라 방향이 맞춰진 좌표계 기준으로 모든 point를 구체화했다.

 

B. 목표

   Dex-Net 알고리즘의 목표는 binary grasp quality metric S(g) ∈ {0,1} 기대값을 최대화하는 파지 g*를 찾아내는 것이다. 객체, 환경, 로봇의 상태에 기인한 불확실성 속에서 force closure subject과 같은. 우리는 성공확률로서 기대 품질을 추론한다. Ps(g) = E[S(g)]. 고차원 공간에서의 샘플링은 많은 계산을 요구하기 때문에, 우리는 몇몇 샘플 T

 

C. Quality Metric

   이 작업에서, 우리는 quality metric으로서 probability of force closure (Pf) 혹은 임의의 방향에서 작용하는 외부의 힘과 토크에 저항하는 능력을 사용하여 우리의 알고리즘을 평가한다. Pf는 상당량의 데이터가 Equation III.1의 대략적인 해답에 미치는 영향을 연구할 수 있게 도와준다. 

Equation III.1

왜냐하면 이것은 상대적으로 계산하기가 쉽고, 그리고 Pf는 실제 실험에서도 좋은 성과를 보이고 있기 때문이다.

   F ∈ {0,1}를 force closure의 발생 여부라고 하자. 객체 포즈, 그리퍼 포즈, 마찰 계수와 같은 불확실성 하에서 객체 O에 작용한 파지 g에 대하여, probability of force closure은 다음과 같다.

probability of force closure

force closure Pf를 계산하기 위해, 우리는 soft finger contact model [47]을 사용하여 가능한 contact wrenches W를 먼저 계산한다. 그리고나서, 0이 W의 convex hull [43] 안에 있다면 F = 1 이다.

 

IV. Dexterity Network

   Dex-Net 1.0 데이터셋은 1만개의 서로 다른 3D 객체 모델과 2.5백만개의 parallel-jaw grasps를 포함한다.

 

A. Data

   Dex-Net 1.0은 13252개 3D 메쉬 모델을 가지고 있다. 우리는 참조되지 않는 vertices를 제거함으로써 각 메쉬를 전처리하였다. 해당 전처리는 메쉬 vertices에 PCA를 사용하여 참조 좌표계를 계산하고, 메쉬 bounding box의 중심에 메쉬 무게중심 z를 설정하며, w = 0.1m인 가장 작은 차원의 bounding box에 합성 메쉬가 꼭 들어맞게 크기를 재조정하여 진행된다. 참조 좌표계에서의 애매한 방향을 해결하기 위해, 우리는 양의 z축에서 xy 평면으로 방향을 지정하였다. 우리는 SDFGen을 이용하여 각 메쉬를 SDF로 변환하였다.

 

B. Grasp Sampling

   Dex-Net에서 각 3D 객체 Oi는 250개의 parallel-jaw grasps와 Pf로 레이블된다. 우리는 antipodal grasps에 집중하기 위해서 2D 알고리즘의 수정을 사용하여 각 객체에 K개의 grasps를 생성한다. 2D 알고리즘은 Smith et al에 의해 제시되었다. 단일 파지를 샘플링하기 위해, 우리는 객체 표면 S로부터 uniform하게 접촉점 c1을 샘플링하여 생성하고, friction cone으로부터 무작위로 uniform하게 방향 v를 샘플링하며, c1+tv line 상에서의 c2 antipodal 접촉점을 찾아낸다. 우리는 접촉이 antipodal하다면 grasp gi,k = (0.5(c1+c2),v)를 후보 세트에 추가한다. 우리는 Monte-Carlo integration을 사용하여 Pf(gi,k)를 측정한다. 이는 객체 포즈, 그리퍼 포즈, 그리고 마찰 랜덤 변수 N = 500 times와 gi,k가 foce closure F = 1에 도달하는 샘플의 수인 recording Zi,k를 샘플링하여 진행된다.

 

※ friction cone : 그리퍼는 c1과 c2을 잇는 안쪽 방향으로 힘을 주게 될 것. 그 방향을 객체에 수직벡터 fz와 나머지 방향벡터 fx, fy로 나눈다. 만약 아래의 식 friction cone을 만족한다면 그리퍼가 물건을 잡을 수 있을 것이고, 만족하지 않는다면 그리퍼가 물건을 놓칠 것이다.

출처 : https://blog.naver.com/junghs1040/222485750583

VII. 실험결과

   우리는 Dex-Net 1.0 알고리즘의 성과

다양한 사이즈의 데이터에 강인한 파지 계획을 보이는.