Abstract
시점 합성(view synthesis) 이란 Light-field, 행렬 형태로 배치된 카메라 등 과 같은 다시점 영상 환경에서, 인접 시점들의 영상과 깊이 정보를 이용하여 가상의 시점에 대한 새로운 영상을 생성하는 기술이다. 합성된 영상의 정확도는 인접한 시점들에 추정된 깊이 정보의 정확도에 의해 결정된다. 따라서 본 연구에서는 정밀한 3차원 복원 및 시점 합성을 위해 매칭 비용을 반복적으로 업데이트하는 다시점 스테레오 매칭 알고리즘을 개발한다. 먼저 다시점 영상들과 카메라 자세 정보가 주어지면 매칭 비용 볼륨 기반의 다시점 스테레오 매칭 알고리즘으로 시점별 초기 매칭 비용 볼륨 및 시차 맵을 계산한다. 그 후 정제 과정에서 각 시점은 모든 시차 맵을 이용하여 표면 확률 및 가시 확률을 계산한다. 표면 확률은 초기 매칭 비용 업데이트에 사용하며, 가시 확률은 폐색 영역의 시차를 개선하기 위해 사용된다. 해당 정제 과정을 일정 횟수 반복할 경우 각 시점마다 정확한 시차 영상을 획득할 수 있다. 또한 시차 영상의 정확도가 향상됨에 따라 정확한 시점 합성이 가능하다.
매칭 비용 볼륨 기반의 초기 시차맵 생성
표면 확률과 가시 확률을 이용한 반복적인 시차맵 정제
3차원 복원 실험 결과
