1 .Robotic SLAM
2차원 라이다와 스테레오 카메라 융합 기반 과수환경 3차원 맵 생성 (Click for more info.)
기술의 발전과 함께 농촌지역에서도 농업용 로봇 또는 자동화 스마트팜 등을 다수 도입하여 생산성 강화를 하려는 사례가 증가하고 있다. 기존에도 다중 센서 기반 자기 위치 추정 및 정밀 지도 작성을 위한 방법이 많이 연구되었지만, 다수 연구들은 비용과 성능 간의 절충을 고려하지 않았다. 본 연구는 나무가 다수 식재된 과수환경이라는 특수한 환경에서 상대적으로 저렴한 비용으로 신뢰성 높은 나무만을 이용한 주변환경에 대한 지도 작성하는 알고리즘을 제안한다.
스테레오 카메라를 이용한 VINS-Mono의 스케일 추정
VINS-Mono 기반의 스테레오 카메라와 IMU 센서를 사용한 VI-SLAM(Visual Inertial-SLAM) 시스템 개발
– Shi-Tomasi 특징점 기반의 템플릿 정합을 활용한 대응점 탐색 및 스케일 계산
– 스테레오 정합으로 획득한 특징점의 스케일 정보를 3차원 특징점의 초기 위치로 설정
– 상태 벡터 추정을 위한 비선형 최적화 시 앞서 획득한 특징점의 스케일 정보를 이용하는 새로운 비용 함수 추가
– 최적화로 획득한 특징점의 위치와 스테레오 정합으로 구한 특징점의 위치를 비교하여 이상점 제거
2차원 라이다와 단일 카메라 융합에 기반한 3차원 전방향 공간 스캐닝 및 업샘플링(Click for more info.)
수평축으로 90도 회전시킨 2차원 라이다와 광각 렌즈를 장착한 단일 카메라를 동일 선상에 위치시키고, 스텝 모터를 이용하여 수직축으로 회전 스테이지를 360도 회전시켜 데이터를 획득한다. 이로 생성된 3차원 전방향 데이터를 활용하여 라이다와 카메라간에 보정한다. 보정된 변환관계를 이용하여 라이다 데이터에 카메라 이미지 색상 정보를 삽입하고, 업샘플링을 실시하여 최종적으로 고밀도 3차원 지도를 생성하는 방법을 연구한다.
VLP-16 라이다의 업샘플링 및 고해상도 3차원 맵생성 (Click for more info.)
고밀도 3차원 맵생성을 위한 Velodyne VLP-16 라이다의 업샘플링(Upsampling) 알고리즘 개발
– 16 채널 라이다의 데이터 보간 및 Weighted Median Filter를 활용한 데이터 보정
– 비전-라이다 보정 기술을 이용하여 비전 센서 색상 정보 융합
– A-LOAM을 이용하여 오도메터리(Odometry) 정보 획득
– 업샘플링 알고리즘과 A-LOAM 정보를 융합하여 고밀도 3차원 맵 생성
2 .Deep Learning
CNN을 이용한 빈피킹 시스템 (Click for more info.)
빈피킹(Bin-picking)이란 무작위로 겹쳐 쌓인 여러 물체 중에서 개별 물체를 잡아 올리는 작업을 말한다. 빈피킹 시스템을 구현하기 위해서는 물체의 위치와 자세정보를 정확히 알아야 한다. 본 연구에서는 빈피킹 시스템을 딥러닝(Deep-Learning)과 물체의 3차원 특징 정보를 활용해서 물체의 위치정보와 자세정보를 추정하는 방법을 연구한다.
CNN을 이용한 불순물 최적 제거 경로 결정 (Click for more info.)
오염된 하천 또는 해양 표면에는 많은 불순물들이 존재한다. 이러한 불순물을 인식하고 제거하기 위해 기존에는 숙련된 전문가가 직접 제거하거나, 로봇을 제어하여 제거한다. 하지만 넓은 하천이나 해양에서 불순물을 판단하고 제거하기엔 비교적 많은 인력이 요구된다. 또한 환경에 따라 인명 피해도 발생할 수 있다. 따라서 본 연구에서는 불순물 제거 작업의 자동화를 위해, 획득한 영상에서 Deep-Learning을 활용한 불순물 제거 경로 추정 방법을 연구한다.
3. 3D Scanning & Reconstruction
회전 3D 센서를 이용한 3차원 족부 스캐너 (Click for more info.)
맞춤형 신발을 제작하기 위해서는, 사용자의 정밀한 발 형상 데이터가 필요하다. 발 형상 데이터를 획득하기 위해 주로 3차원 족부 스캐너를 사용한다. 시중에 공개된 3차원 족부 스캐너들은 일반적으로 카메라와 라인 레이저로 구성된 3D 센서가 선형 이동을 하며 스캔한다. 선형 이동의 특성상 하나의 3D 센서로 족부의 모든 표면을 스캔할 수 없다. 따라서 여러 개의 3D 센서를 족부 다방면에 배치하여 스캔한다. 센서의 수가 늘어남에 따라 장치의 전체 가격이 높아지는 단점이 있다. 따라서 본 연구는 회전 3D 센서를 이용한 회전 방식의 3차원 족부 스캐너를 연구한다. 회전 이동하는 하나의 3D 센서로 족부의 모든 측면을 스캔할 수 있어, 보다 적은 양의 센서로 족부 전체의 스캔이 가능하다.
4. Multi-View Stereo
다시점-다일시 위성영상을 이용한 도심지역의 3차원 모델 생성 (Click for more info.)
위성 영상을 이용한 광범위 지역의 3차원 모델은 메타버스, 자율주행을 위한 HD맵, 군사 등 다양한 목적을 위해 생성된다. 기존에도 2차원의 영상으로 부터 카메라의 파라미터를 이용해 3차원의 모델을 생성하는 다양한 방법이 연구되었지만 위성영상의 경우 특수한 카메라 모델을 사용하기 때문에 앞서 연구된 방법을 적용하기 쉽지 않다. 따라서 본 연구에서는 위성영상에 사용되는 특수한 카메라 파라미터인 RPC파라미터를 추정하고 이로부터 고정밀-고밀도의 3차원 모델을 복원하는 것을 목표로한다.
전방위 다시점 Light-field 영상 기반의 3차원 깊이 정보 추출 및 합성 영상 생성
- 시점별 카메라 자세 정보를 이용한 투영을 기반으로 영상들 사이의 색상 일관성(color consistency)를 계산(초기 매칭 비용)하고 시점별 초기 시차맵을 생성
- 시차공간의 표면 확률(surface probability)와 가시 확률(visible probability)를 이용하여 표면과 폐색 영역의 초기 매칭 비용들을 반복적으로 업데이트하여 정제된 시차맵을 획득
- 시점별 정제된 시차맵을 기반으로 가상 시점에 대한 합성 영상을 Multi-Plane Image 방식으로 생성
Calibration of Stereo Gamma Camera to Estimate 3D Distance for Radioactive Sources
Radiation detection devices; also known as particle detectors; are vastly used to track and identify radioactive sources, such as Gamma, X-Ray within a given area. The 3D distance to such radioactive sources can be estimated using stereo radiation detection devices. In stereo vision, the devices should be calibrated before they are used to acquire stereo images. In this research, we introduce a new idea to calibrate a ‘Hybrid Pan/Tilt type – Stereo Gamma camera’ using Planar Homography. The calibrated cameras are then used to generate stereo gamma images, where they are treated with enhanced bilinear interpolation method for noise reduction and smoothing. 3D distance calculation experiments infer the accuracy of our research, where the overall error lies less than 3%.
5. Autonomous Vehicle
3D digital map generation using Velodyne Lidar and 6 channels omnidirectional vision cameras
일반적인 자율 주행 자동차의 연구 방식으로는 차량 에 설치한 다양한 센서로부터 입력받은 데이터를 이용 하여 주행 차량 주변 환경을 인식하고 판단하며 제어 하는 방식을 이용한다. 하지만 이러한 방법으로는 주행 차량의 조명 환경이나 기상 환경에 따라 잘못된 데이터를 입력 받을 수 있으며 이는 자율 주행에 있어 치명적인 요소로 작용한다. 따라서 최근 자율 주행 자 동차의 최근 연구 동향으로는 라이다 센서와 카메라 센서를 이용하여 3차원 지도를 생성하여 차량이 자율 적으로 주행할 수 있는 운행 설계 영역(Operational Design Domain)을 구축하는 방향으로 연구가 진행되 고 있다. 본 연구는 ODD 구축을 위해 특정 지역에 대한 2차원 도로맵 생성 방법과 카메라와 라이다 센서를 이 용한 3차원 지도 생성 방법을 소개한다.
