Biomedical Application

PCA Based Analysis of External Respiratory Motion Using an RGB-D Camera

In this research, we experiment the feasibility of using a commercial RGB-D camera along with Principal Component Analysis (PCA) to track and model the subject-specific external respiratory motion. Marker-based depth frame registration technique is also introduced to limit the measuring area into an anatomically consistent region during the treatment.

MuGSM (Multi-Directional Greedy Stereo Matching)

To obtain depth image from stereo images, we use stereo matching algorithm. For a long time, many stereo matching algorithms have been developed. And the performance are improving. But algorithms have weak points. Those are long computation time, memory consuming, and scan line problem. To solve these problems is the objects and motives. We proposed an algorithm, whose accuracy is as good as SGM. But, the computation time is shorter, and memory usage is smaller.

Structured Light 3D System

Structured-Light 3D Scanning Technique Using Dual Pseudorandom Arrays

The accurate and dense real-time acquisition of three-dimensional (3-D) data using a low-cost structured light system remains an ongoing topic in the computer vision community, as it is difficult to achieve all these features simultaneously. Among several techniques, the pseudorandom array technique is widely used in real-time 3-D scene capturing, as it tends to concentrate the entire coding scheme into a single pattern. However, existing pseudorandom array decoding methods cannot decode a given symbol in real time when missing neighbors exist. As a solution, we propose a dual pseudorandom array encoding and decoding method and a hole-filling method, which can improve the reconstruction accuracy and time. We experimentally compared our method with several others to verify that our method captures 3-D scenes quickly and densely.

구조광을 이용한 3차원 복원

초소형 시스템을 이용하여 기존 구조광 기반의 위상 변위 방식 3차원 복원 알고리즘을 적용했을 때 발생하는
오차를 최소화하였다. 카메라와 프로젝터를 사용한 구조광 기반의 3차원 복원 기술은 프로젝터로 투영한 구조광과 카메라로 캡처한 구조광을 분석하여 3차원 정보를 얻는다. 이때 초소형 시스템의 장치들이 가지는 광학적인 결함은 좋지 않은 결과를 야기시킨다. 이 문제점을 해결하기 위하여 블룸 현상을 억제하고 구조광의 패턴으로 사용된 위상을 직접 보정하는 기술을 연구한다.

SLAM

무인이동로봇의 3차원 위치 추정

3차원 비전 기술을 이용한 무인이동로봇의 위치인식(Localization)기술을 연구하고 있습니다. 로봇이 스스로 주행하기 위해서는 자신의 위치를 정확히 추정할 필요가 있습니다. 본 연구에서는 360도 레이저 거리정보와 3차원 지형정보 (DSM)을 등록하여 로봇의 위치를 추정합니다. 로봇의 주행 속도를 높이기 위하여 3차원 위치추정을 실시간으로 구현하고 있습니다.

SLAM based on 2D Range Scan Matching

In the field of computer vision and robotics, bin picking is an important application area in which object pose estimation is necessary. Different approaches, such as 2D feature tracking and 3D surface reconstruction, have been introduced to estimate the object pose accurately. In this research, we propose a new approach where we can use both 2D image features and 3D surface information to identify the target object and estimate its pose accurately. First, we introduce a label detection technique using Maximally Stable Extremal Regions (MSERs) where the label detection results are used to identify the target objects separately. Then, the 2D image features on the detected label areas are utilized to generate 3D surface information. We calculate the 3D position and the orientation of the target objects using the information of the 3D surface.

3D Registration & Reconstruction

GPU 가속을 이용한 실시간 3차원 모델링

Multi-view range image registration is a technique of bringing range images obtained from different camera coordinate systems to a common coordinate system. It is one of the important steps to generate complete 3D models of real objects from 3D range sensors. In recent years, many investigations have addressed multi-view range image registration. However, it is usually a time-expensive and difficult task whose accuracy affects the quality of final 3D models. Thus, conventional investigations usually focus on accurate implementation of registration refinement. Registration refinement is also a 3D shape matching technique which finds correspondence between different 3D shapes. It usually needs considerable computation because that 3D data from a range sensor consists of hundreds of thousand of points. In this reason, few systems have addressed real-time registration problem. In this paper, we propose a real-time and on-line 3D registration system which acquires and registers multi-view range images 

배관 결합 검사 시스템

배관의 결함을 검사하기 위해서는 정확한 배관의 복원이 필요하다. 배관복원의 정확도가 높아지면 배관결함의 검사의 정밀도가 높아진다. 보다 정확한 배관 복원을 위해서 우리는 레이저와 카메라를 이용하였다. 배관 검사를 위해 제작된 장치는 4개의 선형레이저와 하나의 카메라로 구성되었다. 100mm 배관을 목표로 하기 때문에 장치의 직경은 약 70mm 이다. 곡선 배관부도 복원 할 수 있어야 되기 때문에 전방으로 길게 돌출되어 있는 전방향(omni-direction) 레이저를 사용하는 대신에 폐곡선을 생성하도록 4개의 선형레이저를 이용한다. 4개의 레이저와 카메라간의 위치관계를 정확하게 보정하여 복원 정확도를 향상시킨다. 4개의 레이저를 보정하는 것은 카메라좌표계를 기준으로 각각의 레이저 평면의 방정식을 계산하는 과정이다. 4개의 레이저 평면의 방정식을 획득한 후 검사장치는 배관내부를 따라 이동하면서 배관내부에 반사된 레이저 영상을 획득한다. 획득된 각각의 영상과 카메라 및 레이저의 보정정보를 이용하여 단일영상에 대한 배관을 복원할 수 있다. 하지만 복원된 배관은 이동할 때에 흔들림과 같은 요인들로 인해서 축의 방향 및 축 중심의 위치가 일치하지 않는다. 우리는 연속적인 배관복원의 결과가 정확하도록 직선 및 곡선 배관으로 나뉘어서 축의 일치화를 구현하였다. 직선 배관의 경우는 축의 중심 및 축의 방향을 일치하도록 하였고, 곡선 배관의 경우는 곡선 배관은 Torus의 일부로 가정하여 ICP 방법을 이용하여 Torus의 중심 원상에 곡관복원 모델의 중심이 있도록 하였다.

고속 다시점 3D 깊이 데이터 정렬 및 정합

본 연구에서는 다시점에서 획득한 3차원 깊이 정보를 고속으로 정렬하고 정합하는 연구를 수행하였다. 최근 3차원 비전 센서의 발달로 인하여 값싸고 고속으로 물체의 3차원 정보를 획득할 수 있는 센서들이 개발되고 있다. 3차원 센서를 사용하여 물체의 3차원 형상을 획득하기 위해서는 다시점 3차원 정보처리가 필수적이다. 다시점 3차원 정보처리의 가장 핵심이되는 정렬(registration) 및 정합 (integration)을 고속으로 처리하기위한 연구는 아직 진행된 바가 많지 않다. 따라서 본 연구에서는 3차원 깊이 정보를 고속으로 정렬 및 정합할 수 있는 기술을 개발하는 것이 목표이다.

스테레오 비전 기반의 3차원 도로 및 환경지도 작성

스테레오 비전 기술은 두 대의 영상 카메라를 사람의 눈과 같은 형태로 일정한 간격을 두고 배치하고 두 개의 서로 다른 시점에서 물체의 영상을 획득하여 활용하는 기술이다. 스테레오 비전 기술을 사용하면 2차원 영상 정보를 사용할 수 있을 뿐만 아니라 3차원 거리 또는 지도 정보를 동시에 획득할 수 있다. 이렇게 획득된 3차원 거리정보를 활용하면 카메라의 중심에서 물체까지의 거리를 측정할 수 있을 뿐만 아니라 스테레오 카메라가 주시하고 있는 차량전방의 3차원 형상을 실시간으로 추출할 수 있다. 또한 주행경로에 따라 획득된 3차원 거리정보를 서로 정합하게 되면 차량이 주행하고 있는 환경의 3차원 월드모델도 복원할 수 있게 된다.

Stereo Vision System

스테레오 특징점 정합

In stereo vision researches, feature-based stereo matching algorithms have been widely used in the preference of low computation cost and high matching accuracy. This paper presents a new stereo matching algorithm based on feature links. The proposed method, which is called feature link matching, utilizes the length and color information of feature links in stereo images. The proposed algorithm is very effective to decide correct correspondence, thus increases accuracy of stereo matching. In addition, inner features which lie within a link are interpolated by an internal division method to increase the number of correct disparity values. For real-time applications of the proposed method, point features are determined by the FAST extractor. Three feature link constraints, epipolar, ordering, and length, are employed. In experimental results, feature link matching yields 1 pixel disparity accuracy of 98.6% which is the average of 5 sample images from the Middlebury stereo data. Average computation time is about 18.7ms

주부 카메라를 이용한 3차원 영상 생성

입체 TV가 대중의 관심을 끌면서 최근 입체 영상으로 제작된 3차원 컨텐츠들과 입체영상을 제작하는 시스템들이 많이 개발되고 있다. 입체 영상 시스템은 일반적으로 인간이 양안을 통하여 거리감을 느낄 수 있다는 점을 바탕으로, 좌우 영상간의 에피폴라인(epipole line)을 일치시키기 위해 동일한 사양의 두 카메라를 이용한다. 우리는 다른 사양의 CCD센서를 가진 주-부 카메라를 기반으로 한 입체 영상 시스템을 제안하여 동일한 사양의 카메라들에 비해 가격 경쟁력을 가질 뿐 아니라 고해상도 영상을 보여줄 수 있다.
주-부 비전 카메라 기반의 입체 영상 시스템은 오른쪽 영상과 왼쪽 영상이 각각 주카메라와 부카메라에 입력되어 NVIDIA 모니터를 통해 입체 영상으로 출력되며, 사용자는 셔터 안경을 쓰고 출력된 영상을 보게 된다. 이러한 환경에서 사용자는 서로 다른 CCD센서를 사용하는 주카메라와 부카메라를 사용하므로 수직, 수평이 제어 되지 않은 입체 영상에 대해 피로감을 느낄 수 있다. 제안한 시스템에서는 자연스러운 입체감을 느낄 수 있도록 수직 및 수평 시차에 대한 오차를 제어할 수 있도록 한다.