Minjae Lee – Page 2 – Computer & Robot Vision Lab.

스테레오 카메라를 이용한 거리영상 획득

스테레오 영상은 두 대 이상의 카메라를 이용하여 얻은 영상

스테레오 영상은 두 대 이상의 카메라를 이용하여 얻은 영상을 말합니다. 영상을 획득한 카메라의 기하정보를 안다면 스테레오 영상에서 물체까지의 거리영상을 구할 수 있습니다. 거리영상은 컴퓨터비전에서 매우 중요한 3차원 정보를 가지고 있어 물체인식 및 추적, 3차원모델링, 로봇비전 등에 유용하게 사용될 수 있습니다.

입체 카메라의 자동 초점 및 주시각제어 기술

입체카메라 또는 입체 TV기술은 차세대 컴퓨터 및 방송기술의 하나로



	입체카메라 또는 입체 TV기술은 차세대 컴퓨터 및 방송기술의 하나로 현재 많은 연구가 진행되고 있습니다. 입체 카메라는 사람의 눈과 같이 초점 및 주시각제어 기능을 가지고 있어야 하며 물체의 거리에 따라 자동으로 제어해주어야 합니다. 입체카메라로 물체까지의 거리를 추정하는 기술, 입체영상에 가상의 물체를 정합하는 기술 등이 관심 연구분야입니다.

다시점 거리 영상을 이용한 3차원 모델링

물체의 거리를 측정할 수 있는 3차원 카메라를 이용하여 다시점에서 물체의


Multiview range image acquisition		3D model

물체의 거리를 측정할 수 있는 3차원 카메라를 이용하여 다시점에서 물체의 거리영상을 획득하고 3차원 모델을 생성하는 것이 목적입니다. 다시점 거리영상을 3차원 기준좌표계로 정합한 후 카메라의 위치를 추정하고 거리영상을 합성하여 모델을 생성한다. 3차원 거리영상의 정확한 정합, 실시간 거리영상의 정합, 3차원 물체의 완전복원 등이 현재 연구분야입니다.

Multi-view 3d range image online registration and integration
	3 차원 컴퓨터비전 기술은 카메라로 획득한 영상 정보로부터 실제 환경(real scene)의 3차원 정보를 정확하고 빠르게 추출하려는 노력에서 비롯되었으며 컴퓨터 성능의 발달과 더불어 많은 연구가 진행되고 있다. 3차원 컴퓨터비전 기술은 주로 로봇, 디스플레이, 그리고 디지털 컨텐츠(contents) 등의 응용분야에 적용 되고 있다. 로봇이 카메라를 이용하여 주행하고자 하는 환경의 3차원 정보를 추출할 수 있다면 장애물을 회피하여 자율적인 주행을 계획할 수 있고, 주변 사물을 판단하는데 많은 도움을 받을 수 있다. 자동차에 카메라를 장착하여 주행 경로의 3차원 정보를 추출함으로써 자율 주행이나 위험감지, 자동주차 등에 사용할 수 있다. 또한 영상 특수효과를 구현하거나 역사적인 유물 또는 유적을 3차원으로 디지털화하여 문화원형을 보존하는 데 사용될 수도 있다.
	그림 1은 3차원 컴퓨터비전 기술이 문화원형을 보존하는데 사용된 예로서 스탠포드대의 컴퓨터 그래픽스 연구실에서 “디지털 미켈란젤로 프로젝트” 의 결과물로 다비드상을 디지털화한 것이다. 국내에서도 과학기술부 장관 주제 회의를 통해 미국의 “디지털 미켈란젤로 프로젝트” 처럼 이미지 검색기술, 3차원 형상보정기술, 색상 재현기술 등을 중점적으로 개발해 주요 문화재에 대한 3D 입체영상작업과 DB구축사업을 진행한다는 계획을 발표하였다. (2006. 7. 21. 전자신문 – 디지털 기술로 문화재 복원) 일반적으로 실세계(real world)의 3차원 정보를 빠르게 추출하기 위해서는 거리 영상 카메라(range imaging camera)를 사용한다. 어떤 물체를 거리영상 카메라로 촬영하면 카메라의 시점에서 물체까지의 거리, 즉 3차원 거리 정보를 획득 할 수 있다. 그림 2는 본 연구실의 거리영상 카메라로 실험하는 장면이다



	하지만 거리 영상 카메라도 사람의 눈과 마찬가지로 그림 2와 같이 물체의 가려진 부분을 볼 수 없기 때문에 물체의 여러 방향에서 거리영상을 획득하여야 물체의 완전한 3차원 정보를 획득할 수 있다.


	그리고 다시점(multi-view)에서 획득된 거리영상들을 3차원 곡면으로 표현하면 이 곡면들은 서로 독립적인 좌표계를 가지기 때문에 이들의 하나의 좌표계로 이동시켜야 한다. 이를 3차원 곡면의 정합(registration) 이라 한다. 거리 영상을 정합 한 후 곡면들을 하나의 3차원 모델로 완성하는 과정을 거치게 되는데 이를 거리영상의 합성(integration) 이라 한다. 최근에는 실시간으로 3차원 정합을 구현하는 기술이 연구되고 있다. 본 연구실에서는 휴대 가능한 스테레오 기반의 거리영상 카메라를 이용하여 연속적으로 거리 영상을 획득하고 이들을 고속으로 정합할 수 있는 기술을 연구한다. 그리고 사용자가 온라인으로 정합 결과를 모니터링 하면서 카메라의 시점을 원하는 곳으로 이동하여 인터액티브하게 물체의 완전한 3차원 모델을 생성할 수 있는 시스템을 구현하고자 한다. 본 연구실에서는 실시간으로 정합을 하기 위해 좀 더 정확(accurate)하고 빠른 알고리즘을 연구 중인데 최근에는 KLT-2D Image Tracker와 기하 기반 정합을 사용한 연구를 진행 중이다.



Result
	– 동영상1 : download(avi, 11.7MB)	본 연구실에서 거리영상 카메라를 사용하여 3차원 모델을 복원하는 실험 장면이다. 기하정보를 이용한 투영기반 정합과 사진정보를 이용한 영상기반 정합을 이용하여 온라인으로 정합을 하였다. 실험은 경북대학교 박물관 야외에 있는 석상을 촬영하였고 거리영상 카메라를 손에 들고 사용하였다. 본 시스템은 획득된 거리 영상이 정합되는 과정을 노트북을 통하여 실시간으로 볼 수 있다.

MuGSM (Multi-Directional Greedy Stereo Matching)

MuGSM(Multi-directional Greedy Stereo Matching)은 두 대의 카메라에서 획득한 영상으로


	Fig.1 Flow of the MuGSM

> Objects
	To obtain depth image from stereo images, we use stereo matching algorithm.
	For a long time, many stereo matching algorithms have been developed.
	And the performance are improving. But algorithms have weak points.
	Those are long computation time, memory consuming, and scan line problem.
	To solve these problems is the objects and motives.
	We proposed an algorithm, whose accuracy is as good as SGM.
	But, the computation time is shorter, and memory usage is smaller.

> Multi-directional Greedy
	Make disparity maps using Greedy matching along 8 or 16 directions.


	Fig 2. Matching directions	Fig 3. Range of disparity
	Number of matching direction is 8 or 16.	The relation between current disparity and next disparity.

> Consistency Check
	Find reliable area from greedy results using consisteny check.


	Fig 4. Results of each greedy matching through 8 matching directions
	Red point and blue point at each result mean same position of the original image.


	Fig 5. Consistency check
	Red points : The rate of inlier is higher than Consistency_ratio.
	Blue points : The rate of inlier is smaller than Consistency_ratio.


> Iterative Expansion
	1) After first ‘Consistency check’ get the reliable area
	2) Restart Multi-directional Greedy Matching using reliable area.
	3) Consistency check for the result of process 2.
	4) Only in the holes(unreliable area), Iterate processes(2~3) are executed.


	Fig 6. results of 1st iteration, 2nd iteration, 3th iteration, 4th iteration (from left-top, clockwise)


> Result
	Computation time is 2~3 times faster than SGM’s. Memory usage is about 33% comparing to SGM’s. Accuracy almost equal.



	Table 1. Compare with other stereo algorithms


	Table 2. Memory usage


	Table 3. Computation time

단일카메라를 이용한 3차원 합성 안정화

증강현실(Augmented Reality)은 3차원 가상물체(Virtual Object)를 비디오 영상과

Introduction
	3D virtual objects are registered in a video sequence. For stable registration, the video camera’s pose should be accurately estimated. Otherwise, the virtual objects’ registration look awkward and unstable due to the mis-alignment between the real scene and the virtual objects. To solve the problem, we propose a 3D stabilization technique based on Visual SLAM. The pose of the camera is estimated and 3D scene points are generated simultaneously. In result, the virtual 3D objects are registered to the scene in very stable condition.


Particle filtering


Particle weighting


Scene generation


Real-time VSLAM


Demo video
	– Virtual object in the origin: download(WMV, 29MB) – Virtual object in the scene: download(WMV, 27MB)

GPU 가속을 이용한 실시간 3차원 모델링

휴대 가능한 거리센서를 이용하여 다시점 거리 영상을 획득함과 동시에

Abstract

Multi-view range image registration is a technique of bringing range images obtained from different camera coordinate systems to a common coordinate system. It is one of the important steps to generate complete 3D models of real objects from 3D range sensors. In recent years, many investigations have addressed multi-view range image registration. However, it is usually a time-expensive and difficult task whose accuracy affects the quality of final 3D models. Thus, conventional investigations usually focus on accurate implementation of registration refinement. Registration refinement is also a 3D shape matching technique which finds correspondence between different 3D shapes. It usually needs considerable computation because that 3D data from a range sensor consists of hundreds of thousand of points. In this reason, few systems have addressed real-time registration problem. In this paper, we propose a real-time and on-line 3D registration system which acquires and registers multi-view range images simultaneously. Continuously obtained range images from a hand-held range sensor are registered by using a geometric refinement techniques run on a GPU. To register range images in real-time, we employ a GPU(Graphic Processing Unit) programming technique. GPU is a processor for graphic work originally, however recent computer vision researches employ GPU for fast and real-time implementation of computer vision algorithms such as KLT tracker and SIFT. We implement a point-to-plane registration refinement technique using GPU. To use up-to-date techniques of GPU, we use the CUDA architecture which is available beyond Geforce 8 series graphic boards from NVIDIA. Most linear algebra used in the refinement process is implemented by GPU programming except a least squares minimization. For experiments with real objects, a hand-held stereo camera is used to continuously obtain range images. Results in this extended abstract show the proposed system can registered the range images in very fast time.

Demo Video
– Beethoven plaster model : download(avi, 26.1MB) – Budda statue : download(avi, 46.6MB)

무인이동로봇의 3차원 위치 추정

3차원 비전 기술을 이용한 무인이동로봇의 위치인식기술

3차원 비전 기술을 이용한 무인이동로봇의 위치인식(Localization)기술을 연구하고 있습니다. 로봇이 스스로 주행하기 위해서는 자신의 위치를 정확히 추정할 필요가 있습니다. 본 연구에서는 360도 레이저 거리정보와 3차원 지형정보 (DSM)을 등록하여 로봇의 위치를 추정합니다. 로봇의 주행 속도를 높이기 위하여 3차원 위치추정을 실시간으로 구현하고 있습니다.

구조광을 이용한 3차원 복원

초소형 시스템을 이용하여 기존 구조광 기반의 위상 변위 방식 3차원 복원 알고리즘을 적용했을 때

Abstract
	초소형 시스템을 이용하여 기존 구조광 기반의 위상 변위 방식 3차원 복원 알고리즘을 적용했을 때 발생하는 오차를 최소화하였다. 카메라와 프로젝터를 사용한 구조광 기반의 3차원 복원 기술은 프로젝터로 투영한 구조광과 카메라로 캡처한 구조광을 분석하여 3차원 정보를 얻는다. 이때 초소형 시스템의 장치들이 가지는 광학적인 결함은 좋지 않은 결과를 야기시킨다. 이 문제점을 해결하기 위하여 블룸 현상을 억제하고 구조광의 패턴으로 사용된 위상을 직접 보정하는 기술을 연구한다.

1. 코사인 함수의 평균값 보정일정하지 않은 평균값을 동일하게 보정


2. 블룸 현상(Bloom Effect) 최소화– 블룸 현상: 영상의 밝은 부분에서 그 밝기가 밝은 부분으로 인하여 더 밝아지는 현상
3. 이상적인 영상의 교차점 이용 보정실제 획득 영상과 코사인 함수에서 나타나는 교차점의 이상적인 값 추정하고 값 재배치

4. 시스템

5. 실험 결과
ICP 알고리즘으로 정합 후 보정 전과 보정 후의 결과 비교

SLAM based on 2D Range Scan Matching

SLAM (Simultaneous Localization and Mapping) is a technique

SLAM (Simultaneous Localization and Mapping) is a technique used by a mobile robot to build a map within an unknown environment and at the same time compute its current location. Our research is based on matching two consecutive 2D range scans which are obtained from a LRF (Laser Range Finder) mounted on a mobile robot.

The most widely used algorithm for matching range scans is the Iterative Closest Points (ICP) algorithm. This algorithm is based on an iterative process in two steps: first a set of corresponding pairs between two consecutive scans is selected, and second the error between corresponding pairs is minimized to find the rigid-body transformation between two scans. This process is repeated until two scans are converged. The most critical part of the ICP is the establishment of corresponding point-pairs. For any point in the first scan, the conventional ICP algorithm finds the closest point in the second scan (the nearest neighbor) its correspondence.

While ICP has advantages of easy implementation, it has many drawbacks because of the non-linear characteristic. ICP can fall into a bad local minimum due to outliers, occlusions and poor initial alignment. Our research interest is to increase the performance of the conventional ICP and adapt it to the real-time SLAM. In order to speed up the convergence, the point-to-line metric is adopted. The point-to-line metric has quadratic convergence instead of linear convergence of the conventional point-to-point metric, as shown in the next figure.

nj is the normal vector of tangent line going through point mj. The point-to-line metric minimizes the Euclidean distance from pi to the tangent line through mj, which greatly increase the robustness of the ICP algorithm against sensor noises. Besides, the point-to-line metric can be weighted to reduce the impact of false correspondences caused by outliers and occlusions.

Demo Video

download

스테레오 특징점 정합

스테레오 비전 분야에서 특징 기반 스테레오 정합 방법은 빠른 수행 시간과 높은 정확성을 갖습니다.

Abstract

In stereo vision researches, feature-based stereo matching algorithms have been widely used in the preference of low computation cost and high matching accuracy. This paper presents a new stereo matching algorithm based on feature links. The proposed method, which is called feature link matching, utilizes the length and color information of feature links in stereo images. The proposed algorithm is very effective to decide correct correspondence, thus increases accuracy of stereo matching. In addition, inner features which lie within a link are interpolated by an internal division method to increase the number of correct disparity values. For real-time applications of the proposed method, point features are determined by the FAST extractor. Three feature link constraints, epipolar, ordering, and length, are employed. In experimental results, feature link matching yields 1 pixel disparity accuracy of 98.6% which is the average of 5 sample images from the Middlebury stereo data. Average computation time is about 18.7ms.

Block Diagram

Distance between adjacent other features. Stereo matching at same distance

Feature Link

Result

Accuracy at Feature Points

Demo Video

download