[자료 읽기] New Wave of Robot Grasping

영상 제목 : UofT Robotics Institute Seminar Series: Ken Goldberg "New Wave of Robot Grasping"

발표자 : Ken Goldberg

출처 : https://www.youtube.com/watch?v=4F-uu8rvgNw&t=1862s 

 

# The New Wave in Robot Grapsing

- First Wave

- Second Wave

- New Wave

- New Work

 

# 그림 설명

- 위에서부터 아래로 : 완벽하고 이상적인 형태를 지닌 순수한 공리에서부터 시작하여 아랫쪽 현실을 이해

- 아래에서부터 위로 : 다양한 정보를 모아 분류하는 작업을 통해 현세계를 이해하고 이를 바타으로 윗쪽을 이해

 

#  피스피킹 기술의 필요성

 

# parallel-jaw gripper

# 도전과제 (problem)

- Point cloud

높은 곡률을 가지거나 투명하거나 반사하는 성질을 띄면 point cloud의 왜곡이 심해진다. 금속 물질 같은 경우.

- Physics

로봇으로 똑같은 물건을 똑같은 방향과 힘으로 밀경우, 그 결과는 항상 다르다. 표면의 어떤 부분에 닿는냐에 따라.

오히려 이런 문제는 풀 수 없는 문제에 가깝다. 

- 요약

 

# First Wave : Analytic Methods

- 공리로부터 시작하여 현실 세계의 모델을 이끌어내다.

- 1850s Wrench Mechanics

- 힘과 토크 벡터 그리고 표면 수직 벡터를 분석하여 객체가 완벽히 파지될 수 있는지 없는지 결정

- Handbook of Robotics에 따르면 로봇이 파지할 객체를 인식했을때, 로봇 입장에서 객체 포즈나 구조에 대한 이해는 완벽하지 않다.

 

# Analytic Grasp Planning

state x (예. 모양, 마찰)이 주어졌을때, grasp u (예. 접촉점)을 계획한다. reward function R 을 최대화하기 위해서.

First wave에서는 우리가 정확한 객체의 모양과 접촉점을 정확히 안다고 가정한다. 부정확함을 무시한 상태.

우리는 모든 부정확함을 통계학적 방식으로 고려. 앞에 있는 변수는 모두 random variable이다.

부정확함의 원인이 어디서 오는지.

이 random variable은 객체의 state와 gripper의 state에 있다.

이 분포로부터 샘플을 추출하고, 특정 grasp가 성공할 확률을 예측한다.

이때 wrench mechanics 사용

monte carlo integration 사용. 성공확률을 계산하기 위해.

그 결과 다음과 같다.

객체의 포즈를 예측한다. state x

monte carlo analysis를 사용하여 best grasp 계산

robust grasp 계산은 좋았지만 state x가 잘못되었다.

문제는 Perception Uncertainty에서 발생.

이제는 x를 예측해서 주는 것이 아니라. 관측 y (point cloud)를 직접 사용

 

# Second wave

data-driven

상당히 많은 데이터가 필요하다.

Dex-Net에서는 객체에 미리 계산 가능한 robust grasp를 label로 달았다.

 

# New Wave

시뮬레이션을 통해 다수의 grasp를 실행.

 

# Multi-Armed Bandits

비슷한 객체에 비슷한 파지 실행

한 객체를 서로 다른 방향에서 바라보았을때의 이미지

시뮬레이션에서의 학습이 현실에서 잘 사용되게 하기 위해.

기존의 센서가 인식하는 point cloud에는 noise가 많기 때문에

시뮬레이션 학습데이터에 이와 비슷한 noise를 넣어준다.

noise는 random noise가 아닌 structured domain randomization.

이때까지는 단일 객체를 파지하는 것에 그침.

 

# Dex-Net 2.1 : Bin Picking

synthetic bin에서 훈련

 

# Dex-Net 3.0

# Dex-Net 4.0

너무 무겁거나, 특이한 구조, 투명한 객체, 클립 같은 것은 잡기 힘들다.

 

# New Projects

일단 grasp 후 객체를 옮기는 과정에 있어서 새로운 장소로 빠르게 이동시키기 위한 방법.

이는 minimal jeck motion을 통해 실행.