[Real-time Depth Enhanced Monocular Odometry] Review

Real-Time Depth Enhanced Monocular Odometry Review

Abstract

Depth정보는 RGB-D 카메라나 라이다를 이용하여 많이 계산되고 있다, 하지만 센서가 depth 정보를 다 알지 못해 이미지 상당 부분의 depth를 알 수 없다.
-> 이 논문에서는 sparse한 depth에서도 camera motion 회복을 통해 depth를 활용할 수 있게 하는 방법을 제안한다.

System Overview

1. Sensor Hardware

(a) Xtion Pro Live RGB-D Camera

(b) Custom Build Camera and 3D Lidar

2. Software System Overview

First, feature tracking

• Kanade Lucas Tomasi(KLT) method를 사용하여 Harris Corner를 추적하는 모듈
• 해당 모듈에서 추적된 Visual Features는 Depth MAp Registration 모듈에서 Depth값과 결합

초록: depth map에서 depth를 뽑아낸 점

파랑: 추정된 camera pose와 triangulation을 통해 depth를 알아낸 점

빨강: depth가 없는(모르는) 점

Second, Depth Map Registration

• Depth 데이터를 Estimated Motion에 따라 맵에 등록시키는 모듈
• 해당 모듈에서 Visual Feature와 Depth값이 결합됨
• Depth Map에 없는 Visual Feature들의 경우 Triangulation을 통해 Depth값을 추정하게 됨

Third, Frame to Frame Motion Estimation

• Visual Feature(+Depth)를 입력으로 받아서 Motion Estimation을 수행하는 모듈
• Known Depth, Unknown Depth의 경우를 모두 처리하여 Motion Estimation
• Visual Feature의 카메라 모션은 아래와 같이 표현한다.

Fourth, Bundle Adjustment

• iSAM Library를 사용하여 Estimated Motion의 누적된 오차를 제거해주는 모듈
• User-defined Camera model을 사용할 수 있기 때문에 iSAM을 사용함
• 0.25~1.0Hz 주기로 동작한다.

Fifth, Transform Integration

• Frame to Frame Motion의 High-Frequency Transform과 BA의 Low-Frequency Transform을 입력으로 받아 최종 Transform을 반환하는 모듈