Pallet robot navigation with fisheye camera visual odometry
이동로봇의 정면에 장착된 어안렌즈 카메라 (Fisheye camera)에서 Ground Plane Image (GPI)를 생성하고 주행공간의 바닥면의 특징정보들을 추적하고 추적된 벡터를 이용해 로봇의 Kinematics Model에 적용해 비주얼 오도메트리를 구현함
- 어안렌즈 카메라의 영상 투영 Projection Model은 EUCM(Enhanced Unified Camera Model) 사용
- EUCM-Cubemap Projection Model을 이용해 어안렌즈 영상에서의 픽셀을 큐브맵 영상 좌표로 대응되는 좌표의 관계를 모두 계산하여 GPI 영상 생성
- GPI에서 영상 특징점들을 추적하고 여러 Motion Vector들 중 2차원 공간에서 로봇의 이동을 표현할 수 있는 하나의 Motion Vector를 추출
- 모션 벡터의 Median 값을 2차원 공간에서 로봇의 움직임을 대표하는 Motion Vector로 결정
- 대표하는 Motion Vector를 추정한 뒤 스케일을 곱해 얻은 거리를 가상의 바퀴에서 관측한 값이라 가정하고 로봇의 Motion Model에 적용하여 Odometry를 추정
VINS-Stereo using Superpoint and Superglue
딥러닝 기술을 이용한 스테레오 특징 정합 및 추적으로 로봇위치 추정과 실내공간의 3차원 지도를 생성함
- Deep feature detection과 tracking을 이용한 Visual SLAM (Simultaneous Localization And Mapping) 기술을 제안
- 영상 특징의 추출에는 Superpoint 딥러닝 기술 사용
- 추출된 영상 특징의 추적에는 Superpoint 딥러닝 기술 사용
- Baseline SLAM 기술로는 VINS-Stereo를 사용하고 기존의 방법보다 매우 우수한 성능 구현
시점별 가시 확률 및 부호화 거리 함수를 이용한 다시점 스테레오 정합
여러 시점에 배치된 카메라의 영상들을 사용하여 변위(disparity) 값을 추정하는 연구를 진행함. 초기 변위 영상을 생성하고 시점별 가시 확률을 추정하여 깊이 정보를 정제하는 기술을 개발함
- Plane Sweep Stereo 알고리즘을 이용하여 초기 비용 볼륨 및 변위 영상을 획득
- 폐색 영역 또는 잡음으로 인한 부정확한 깊이 정보의 경우 Soft 3D Reconstruction 알고리즘을 반복 수행하여 변위 영상을 정제
- 정제된 변위 영상들은 부호화 거리 함수 알고리즘으로 통합되고, Raycasting 으로 시점별 깊이 영상을 재 생성하여 깊이 일관성 개선
360 Degree 3D Foot Scanner
사람의 신체 중에서 매우 중요한 기관의 하나인 발모양의 360도 전체 모델을 스캐닝하기 위하여 레이저와 카메라를 이용하여 3차원 족부 스캐닝 장치를 제작하고 스캐닝 알고리즘을 개발함
- 하나의 카메라와 2개의 라인 레이저로 구성된 센서를 장착하고 원형으로 움직이며 발의 윗 부분을 스캐닝
- 하나의 카메라와 1개의 라인레이저로 구성된 센서를 장착하고 선형으로 움직이며 발바닥을 스캐닝
HSD 가이드 영상 기반 라이다 업샘플링을 이용한 초고해상도 전방향 3차원 스캐닝
저가의 2차원 라이다와 단일 카메라를 회전하여 전방향 스캐닝 업샘플링을 수행하여 3600×821 픽셀의 매우 밀집한 초고해상도 깊이 지도를 생성 및 복원하는 기술을 개발함
- HSD (Hue-Saturation-Depth)가이드 영상 기반 라이다 업샘플링을 이용한 초고해상도 전방향 3차원 스캐닝 시스템을 구성하는 방법을 제시
- 카메라의 색상 정보와 라이다의 3차원 포인트 클라우드 정보를 융합하기 위해 카메라와 라이다 간의 보정을 수행
- HSD 기반 가이드 영상을 기반으로 제안된 두 가지 단계의 업샘플링 방법을 수행하여 고밀도 3차원 지도를 생성
딥러닝과 ICP 알고리즘을 이용한 빈피킹 물체의 실시간 3차원 자세 추정
매우 작은 원형의 물체가 쌓여있는 환경에서 적외선 영상과 깊이 영상을 이용하여 물체의 3차원 위치 및 자세를 추정하는 기술을 개발함. 2차원 카메라 영상에서 딥러닝 기반의 물체인식기를 이용하여 물체를 검출하고 물체의 깊이 정보와 ICP(Iterative Closest Point) 알고리즘을 이용하여 물체의 3차원 자세를 추정함
스테레오 비전 기반의 3차원 방사선 영상화
스테레오 방사선센서는 팬틸트 장치에 설치되고 한 쪽에는 단일 콜리메이터 (collimetor) 를 장착한 단일 방사선량 측정장치를 장착하고 다른 쪽에는 일반 RGB 영상획득을 위한 카메라를 장착함. 팬틸트의 회전 운동의 중심을 영상의 중심으로 가정하여 2차원 방사선 영상을 생성함
- 스테레오 방사선 센서의 한 쪽에서는 방사선영상, 그리고 다른 한쪽에서는 가시광영상을 획득
- 그리고 전체 장치를 패닝, 틸팅을 시행하여 센서의 위치를 교환함
- 교환된 자세에서 다시 대칭 위치에서 방사선영상과 가시광영상을 획득함
- 방사선센서의 회전축과 카메라의 중심이 일치하는 점을 이용하여 방사선센서에 스테레오 비전 기반 기술들을 적용하여 3차원 측위를 진행
