Category: Stereo Vision System

Stereo Vision Based 3D Pose Estimation of Product Labels

Abstract

In the field of computer vision and robotics, bin picking is an important application area in which object pose estimation is necessary. Different approaches, such as 2D feature tracking and 3D surface reconstruction, have been introduced to estimate the object pose accurately. In this research, we propose a new approach where we can use both 2D image features and 3D surface information to identify the target object and estimate its pose accurately. First, we introduce a label detection technique using Maximally Stable Extremal Regions (MSERs) where the label detection results are used to identify the target objects separately. Then, the 2D image features on the detected label areas are utilized to generate 3D surface information. We calculate the 3D position and the orientation of the target objects using the information of the 3D surface.

Overview of the proposed method

noname01

 

Experiment result

Stereo_Vision_1

(a)

Stereo_Vision_2

(b)

충전 크래들 라벨의 자세추정 결과 (a) 라벨 위치

및 자세 정보 (b) 3차원 뷰어로 본 결과

Stereo_Vision_3

(a)

Stereo_Vision_4

(b)

여행용 어댑터 인식 결과 (a) 라벨 위치

및 자세 정보 (b) 3차원 뷰어로 본 결과

Integrated video

 

Calibration of Stereo Gamma Camera to Estimate 3D Distance for Radioactive Sources

Abstract

Radiation detection devices; also known as particle detectors; are vastly used to track and identify radioactive sources, such as Gamma, X-Ray within a given area. The 3D distance to such radioactive sources can be estimated using stereo radiation detection devices. In stereo vision, the devices should be calibrated before they are used to acquire stereo images. In this research, we introduce a new idea to calibrate a ‘Hybrid Pan/Tilt type – Stereo Gamma camera’ using Planar Homography. The calibrated cameras are then used to generate stereo gamma images, where they are treated with enhanced bilinear interpolation method for noise reduction and smoothing. 3D distance calculation experiments infer the accuracy of our research, where the overall error lies less than 3%.

 

Project Introduction

 

Project Overall Introduction

그림1

 

Experiment Results

그림2

스테레오 특징점 정합

스테레오 비전 분야에서 특징 기반 스테레오 정합 방법은 빠른 수행 시간과 높은 정확성을 갖습니다.

  • Abstract


In stereo vision researches, feature-based stereo matching algorithms have been widely used in the preference of low computation cost and high matching accuracy. This paper presents a new stereo matching algorithm based on feature links. The proposed method, which is called feature link matching, utilizes the length and color information of feature links in stereo images. The proposed algorithm is very effective to decide correct correspondence, thus increases accuracy of stereo matching. In addition, inner features which lie within a link are interpolated by an internal division method to increase the number of correct disparity values. For real-time applications of the proposed method, point features are determined by the FAST extractor. Three feature link constraints, epipolar, ordering, and length, are employed. In experimental results, feature link matching yields 1 pixel disparity accuracy of 98.6% which is the average of 5 sample images from the Middlebury stereo data. Average computation time is about 18.7ms.

 

 

  • Block Diagram

Distance between adjacent other features. Stereo matching at same distance

  • Feature Link

 

  • Result

 

  • Accuracy at Feature Points

 

  • Demo Video

download

주부 카메라를 이용한 3차원 영상 생성

입체 TV가 대중의 관심을 끌면서 최근 입체 영상으로 제작된 3차원 컨텐츠들과

  • Abstract


입체 TV가 대중의 관심을 끌면서 최근 입체 영상으로 제작된 3차원 컨텐츠들과 입체영상을 제작하는 시스템들이 많이 개발되고 있다. 입체 영상 시스템은 일반적으로 인간이 양안을 통하여 거리감을 느낄 수 있다는 점을 바탕으로, 좌우 영상간의 에피폴라인(epipole line)을 일치시키기 위해 동일한 사양의 두 카메라를 이용한다. 우리는 다른 사양의 CCD센서를 가진 주-부 카메라를 기반으로 한 입체 영상 시스템을 제안하여 동일한 사양의 카메라들에 비해 가격 경쟁력을 가질 뿐 아니라 고해상도 영상을 보여줄 수 있다.
주-부 비전 카메라 기반의 입체 영상 시스템은 오른쪽 영상과 왼쪽 영상이 각각 주카메라와 부카메라에 입력되어 NVIDIA 모니터를 통해 입체 영상으로 출력되며, 사용자는 셔터 안경을 쓰고 출력된 영상을 보게 된다. 이러한 환경에서 사용자는 서로 다른 CCD센서를 사용하는 주카메라와 부카메라를 사용하므로 수직, 수평이 제어 되지 않은 입체 영상에 대해 피로감을 느낄 수 있다. 제안한 시스템에서는 자연스러운 입체감을 느낄 수 있도록 수직 및 수평 시차에 대한 오차를 제어할 수 있도록 한다. 아래의 그림은 제안한 시스템의 실시간 처리 과정을 보여준다.
1) 주-부 카메라에 입력된 각각의 왼쪽, 오른쪽 영상 획득
2) 획득한 두 영상을 DirectX를 이용하여 GPU의 텍스쳐버퍼(texture buffer)로 업로드(upload).
3) GPU로 업로드된 영상들은 CUDA를 이용하여 고속으로 영상처리가 시행됨
4) 두 카메라의 위치 정보로 구해놓은 호모그래피 행렬로 출력될 영상 픽셀들의 위치 보정
5) 영상들은 DirectX하에서 보정된 위치 값과 스테레오 헤더 정보를 가지고 CPU의 surface버퍼로 복사되어 최종 디스플레이의 back버퍼로 복사.
6) 입체 영상은 그래픽 디스플레이의 다중 버퍼링 기술을 이용하여 고속 출력.

 

 

  • Block Diagram