주부 카메라를 이용한 3차원 영상 생성

• Abstract

입체 TV가 대중의 관심을 끌면서 최근 입체 영상으로 제작된 3차원 컨텐츠들과 입체영상을 제작하는 시스템들이 많이 개발되고 있다. 입체 영상 시스템은 일반적으로 인간이 양안을 통하여 거리감을 느낄 수 있다는 점을 바탕으로, 좌우 영상간의 에피폴라인(epipole line)을 일치시키기 위해 동일한 사양의 두 카메라를 이용한다. 우리는 다른 사양의 CCD센서를 가진 주-부 카메라를 기반으로 한 입체 영상 시스템을 제안하여 동일한 사양의 카메라들에 비해 가격 경쟁력을 가질 뿐 아니라 고해상도 영상을 보여줄 수 있다.
주-부 비전 카메라 기반의 입체 영상 시스템은 오른쪽 영상과 왼쪽 영상이 각각 주카메라와 부카메라에 입력되어 NVIDIA 모니터를 통해 입체 영상으로 출력되며, 사용자는 셔터 안경을 쓰고 출력된 영상을 보게 된다. 이러한 환경에서 사용자는 서로 다른 CCD센서를 사용하는 주카메라와 부카메라를 사용하므로 수직, 수평이 제어 되지 않은 입체 영상에 대해 피로감을 느낄 수 있다. 제안한 시스템에서는 자연스러운 입체감을 느낄 수 있도록 수직 및 수평 시차에 대한 오차를 제어할 수 있도록 한다. 아래의 그림은 제안한 시스템의 실시간 처리 과정을 보여준다.
1) 주-부 카메라에 입력된 각각의 왼쪽, 오른쪽 영상 획득
2) 획득한 두 영상을 DirectX를 이용하여 GPU의 텍스쳐버퍼(texture buffer)로 업로드(upload).
3) GPU로 업로드된 영상들은 CUDA를 이용하여 고속으로 영상처리가 시행됨
4) 두 카메라의 위치 정보로 구해놓은 호모그래피 행렬로 출력될 영상 픽셀들의 위치 보정
5) 영상들은 DirectX하에서 보정된 위치 값과 스테레오 헤더 정보를 가지고 CPU의 surface버퍼로 복사되어 최종 디스플레이의 back버퍼로 복사.
6) 입체 영상은 그래픽 디스플레이의 다중 버퍼링 기술을 이용하여 고속 출력.

• Block Diagram