해상교통 특화 LLM 기반의 멀티모달 종합추론 시스템

Abstract

해상 환경은 국제 무역, 운송, 자원 개발 및 해양 관광 등 다양한 산업 분야에서 경제적으로 중요한 역할을 담당하고 있다. 이러한 경제적·산업적 중요성으로 인해 자율 운항 선박 및 자율 운항 솔루션에 대한 관심이 급증하고 있다. 해상 환경은 일반적인 데이터와는 차별화된 특수한 정보들을 다수 포함하고 있으나, 이러한 해상 특화 데이터를 효과적으로 처리할 수 있는 모델 및 시스템은 여전히 제한적이다. 본 연구에서는 이러한 한계를 극복하기 위해 해상 교통상의 멀티모달 종합 추론 항해 지원 시스템을 제안한다. 제안된 시스템은 실제 항해사가 선박을 운항하는 방식과 유사하게 AIS(Automatic Identification System) 데이터 기반의 해상 지도 동영상과 전방 카메라 항해 동영상을 동시에 처리하며, 항해 법규를 고려한 의사결정을 지원한다. 또한 다양한 모달리티의 정보를 상호 보완적으로 활용하여 해상 환경의 특수성을 반영한 종합적 추론 체계를 구축함으로써, 보다 안전하고 효율적인 항해 지원 솔루션을 제공할 수 있다.

The maritime environment plays an economically important role in many industries, including international trade, transportation, resource exploitation, and marine tourism. This economic and industrial importance has led to a surge in interest in autonomous ships and autonomous navigation solutions. The maritime environment contains a lot of specialized information that is different from general data, but there are still limited models and systems that can effectively process such maritime-specific data. To overcome these limitations, this study proposes a multimodal comprehensive reasoning navigation support system for maritime traffic. The proposed system simultaneously processes nautical map videos and front camera navigation videos based on AIS (Automatic Identification System) data, and supports decision-making considering navigation laws and regulations. By complementarily utilizing information from various modalities to build a comprehensive reasoning system that reflects the specificity of the maritime environment, it can provide a safer and more efficient navigation support solution.