스테레오 비전 기반의 3차원 도로 및 환경지도 작성

스테레오 비전 기술은 두 대의 영상 카메라를 사람의 눈과 같은 형태로 일정한 간격을 두고 배치하고 두 개의 서로 다른 시점에서 물체의 영상을 획득하여 활용하는 기술이다. 스테레오 비전 기술을 사용하면 2차원 영상 정보를 사용할 수 있을 뿐만 아니라 3차원 거리 또는 지도 정보를 동시에 획득할 수 있다. 이렇게 획득된 3차원 거리정보를 활용하면 카메라의 중심에서 물체까지의 거리를 측정할 수 있을 뿐만 아니라 스테레오 카메라가 주시하고 있는 차량전방의 3차원 형상을 실시간으로 추출할 수 있다. 또한 주행경로에 따라 획득된 3차원 거리정보를 서로 정합하게 되면 차량이 주행하고 있는 환경의 3차원 월드모델도 복원할 수 있게 된다.

그림 1. 스테레오 비전 기반 3차원 지도생성 시스템 개요

0. 스테레오 카메라

실험에는 PointGrey사의 Bumblebee XB3 스테레오 센서가 사용되었다. 실험동안 800×600 해상도의 영상을 획득하였으며, 왜곡을 보정하기 위해 영상개정(image rectification) 작업을 매 프레임에 대해 선행적으로 진행하였다.

그림 2. 차량에 탑재된 스테레오 비전기반 3차원 복원 시스템. (a) 차량외부 모습, (b) 차량내부 모습

1. 자세 추정 및 매칭 알고리즘

연속하는 스테레오 영상 프레임에 대해 카메라의 모션을 추정하는 과정은 다음과 같다. 먼저 2차원 영상이 입력되면 SURF[1] 알고리즘을 이용하여 t-1과 t시간에서 각각 획득한 영상에 대한 2차원 특징점들을 추출한다. 이후 추출된 2차원 특징점들 사이를 서로 매칭하여 t-1과 t프레임 사이의 일치점군을 획득한다. 초기 매칭결과는 잘못된 페어링으로 인한 오류를 포함할 수 있으므로 에피폴라 기하제약과 RANSAC 알고리즘을 적용하여 외치점(outlier)을 제거해야만 한다[2]. 외치점이 제거된 일치점군이 생성되면, 깊이정보를 가지고 있는 2.5차원 거리영상을 이용하여 t-1과 t시점 사이의 3차원-3차원 매칭 관계를 확보할 수 있으며, 이로부터 두 시점 사이의 변환행렬을 계산할 수 있다. 하지만 스테레오 매칭의 오류로 인해 2.5차원 거리영상의 정보가 부정확한 경우도 있기 때문에, 두 거리데이터 사이의 강체지속 제약과 RANSAC 알고리즘을 접목하여 잘못된 3차원-3차원 매칭결과를 효과적으로 제거하였다.

그림 3. 실험이 실시된 경북대학교의 위성영상 및 주행 경로 (주행거리 약 1130m)

2. 결과

그림 3은 실험이 진행된 환경 및 주행 경로에 대한 위성영상을 보여준다. 실험과정 및 결과의 이해를 돕기 위해 차량이 실제로 주행했던 궤적을 GPS로 획득한 뒤, 위성영상에 붉은색의 곡선으로 표시하였다. 그림 4는 본 연구에서 제안한 방법을 사용하여 3차원 도로 및 환경지도를 작성 결과를 보여준다. 주행경로가 상당히 길었던 관계로 복원된 3차원 지도의 특정 부분을 별도로 확대하여 제시하였다. 그림 4의 결과에서 알 수 있듯이 복원된 3차원 환경지도의 모습이 GPS의 궤적과 상당히 유사함을 알 수 있다. 또한 복원된 3차원 장면도 매우 정교하게 복원된 것을 확인할 수 있다.

그림 4. 스테레오 비전센서를 이용한 3차원 도로 및 환경지도 작성 결과

– Demo Video: download (WMV, 76.8MB)