네덜란드 델프트공대 연구진이 승객의 자연어 요청을 자율주행차의 주행 방식에 반영하는 시스템을 개발했다. 이 시스템은 대형언어모델(LLM)로 ‘늦었으니 빨리 가라’거나 ‘멀미가 난다’는 요청을 해석해 속도와 가속, 회전의 부드러움 등을 조절한다.
IEEE 스펙트럼(IEEE Spectrum)은 8월 25일 이 연구를 보도했다. 연구진은 사전 논문을 아카이브에 공개했으며, 해당 연구를 9월 열리는 IEEE 지능형교통시스템 콘퍼런스에서 발표할 예정이다. 연구를 이끈 디에고 마르티네스-바셀가 델프트공대 박사후연구원은 자율주행의 모션 플래닝이 목적지에 도착하고 충돌을 피하는 것뿐 아니라 ‘어떻게 주행하느냐’의 문제이기도 하다고 설명했다.
자율주행차의 모션 플래너는 교통 상황에서 안전하고 효율적인 경로를 선택하는 소프트웨어다. 일반적으로 차량이 도로에 투입되기 전에 엔지니어가 속도, 가속, 회전의 부드러움 같은 매개변수를 설정하기 때문에 승객이 주행 중 운전 스타일을 바꾸기는 어려웠다. 이번 시스템은 승객이 직접 차량의 의사결정을 조작하지 않고, 안전 범위 안에서 모션 플래너가 경로를 평가하는 기준의 중요도를 조정하도록 설계됐다.
기술적으로는 연구진이 개발한 모델예측 경로 적분 제어기가 차량이 목적지에 도달할 수 있는 여러 경로를 만든 뒤 속도, 조향각, 충돌 확률 등을 기준으로 평가한다. 이후 높은 점수를 받은 궤적을 조합해 최적 경로를 찾는다. 연구진은 여기에 오픈AI(OpenAI)의 GPT-4o-mini를 결합해 승객의 자연어 제안을 해석하도록 했다. LLM은 제어기 설정값을 직접 바꾸는 대신 각 평가 기준의 상대적 중요도를 매긴다. 이 점수는 연구진이 정한 안전 기준을 중심으로 각 기준을 높이거나 낮추는 데 사용된다.
예를 들어 승객이 어지럽다고 말하면 시스템은 부드러운 조향과 완만한 가속을 중시하도록 설정해 차량이 보다 안정적인 주행을 하게 한다. 변경 전에는 시스템이 비기술적인 언어로 적용할 조정 내용을 설명하고 승객의 확인을 받는다. 승객은 실제 주행이 기대와 다르거나 선호가 바뀌었을 때 추가 요청을 할 수 있다. 마르티네스-바셀가는 이런 ‘인간 참여형’ 구조가 LLM의 오해를 승객이 확인하고 수정하게 한다고 말했다.
연구진은 자율주행 시뮬레이터 뉴플랜(nuPlan)에서 혼잡한 고속도로에 합류하는 상황을 재현해 시스템을 시험했다. 8가지 요청을 적용한 결과, 편안한 주행을 요구하면 부드러움 관련 설정이 높아지고 긴급함을 나타내면 속도가 높아지는 등 요청 의도에 맞게 제어기 매개변수가 바뀌었다. LLM이나 비디오언어모델(VLM)을 차량의 의사결정에 직접 사용하는 기존 접근은 응답이 느리고 결정론적 모션 플래너처럼 구체적인 성능 보장을 제공하기 어렵다는 문제가 있다. 연구진은 이에 따라 LLM을 차량 제어기가 아니라 모호한 인간의 선호를 안전한 경로 선택 기준으로 번역하는 도구로 활용했다.
