Nvidia Jetson TK1을 이용한 자율주행 정보 획득 기술

Abstract

주행 중 운전자 졸음, 주의 태만으로 차선을 이탈하거나 표지판, 주행 차로, 횡단보도 등의 도로 환경 정보를 인지하지 못하여 발생하는 사고는 인명피해를 유발시키는 대형 사고로 이어 진다. 이러한 인명사고를 예방하기 위한 기술 중 차선 정보를 검출하는 방법은 LDWS(Lane departure warning system)이 대표적인데 높은 성능을 위해 주행차선을 정확히 검출하는 기술과 실시간 연산기술이 필요하며 표지판과 주행차로, 횡단보도와 같은 도로 환경 정보를 정확히 검출하는 기술이 필요하다. 따라서 본 연구는 카메라와 도로평면의 기하관계를 이용하여 다양한 환경에서 곡선, 직선차선을 실시간 검출하고, 특징 정보와 기계학습을 이용하여 표지판, 횡단보도를 정확히 검출하며, 표지판과 도로평면의 기하관계를 이용한 정교한 주행 차로 검출하는 것을 연구한다.

 

곡선 차선 검출

직선 차선이 검출 후 차선 정보를 이용하여 도로평면과 카메라간의 기하관계를 알 수 있다. 기하관계를 이용하여 곡선검출을 한다. 검출된 곡선을 기반으로 전방 차선의 곡률정보를 운전자에게 알려 차선 이탈을 미리 방지 할 수 있다.

 

주행 차로 검출

현재 자동차의 네비게이션은 GPS의 오차로 인해 주행 중인 도로에서 운전자가 주행하고 있는 차로의 확인이 어렵다. 이를 보완하기 위해 비전카메라로 차선을 검출 후 검출된 차선들 중 중앙 차선을 검출한다면 현재 주행하고 있는 차로의 확인이 가능하다. 따라서 본 연구에서는 검출된 차선들 중 중앙차선의 존재 여부와, 검출된 중앙차선을 기준으로 현재 주행중인 차로 추적을 연구하였다.

 

시스템 병렬화

Nvidia의 Jetson TK1 임베디드 보드에 차선 검출 시스템을 구성하였다. 차선 검출은 실시간 연산이 필요한데 Jetson TK1의 CPU 성능이 낮아 실시간 처리가 어렵다. 보다 빠른 연산 시간을 위해 GPU 프로그래밍(CUDA)를 이용하여 실시간 연산을 수행하였다. CPU에 비해 약 4배 이상 빠른 속도로 차선검출이 가능하다.

 

표지판 인식 및 주행차로 판정

표지판으로 부터 도로 환경 정보를 획득하기 위해 표지판 영상으로부터 특징들을 추출하고 기계학습을 통하여 표지판을 검출하였다. 그리고 스테레오 카메라를 이용하여 표지판의 3차원 위치 정보를 추적하고, 도로평면과의 기하관계를 이용하여 주행 차로 추정을 연구하였다.

 

횡단보도 검출

횡단보도의 검출을 위해 입력 영상으로부터 영역별 적응형 이진화를 적용하고, x축 히스토그램을 이용하여 입력 영상에서 횡단보도 후보 영역을 추출 한다. 추출한 횡단보도 후보 영역에 대해 횡단보도의 특징을 추출하고 기계학습을 통하여 후보 영역 내에서 횡단보도를 인식 및 검출 한다.