GPT-6 아스트라(GPT-6 Astra)가 도요타 코롤라의 조향·가속·제동을 직접 제어하는 실제 차량 주행 평가에 참여했다. 자동차 주행 평가 사이트 드라이빙벤치(DrivingBench)는 9월 24일 고정된 콘 코스에서 모델의 주행 성능을 측정하는 평가 결과와 기록 열람 기능을 공개했다. 이번 평가는 프런티어 모델이 가상 환경이 아닌 실제 차량을 움직일 수 있는지를 확인하기 위해 마련됐다.
GPT-6 아스트라의 실제 차량 평가 방식
평가 대상은 도요타 코롤라(Toyota Corolla)이며, 모델에는 차량의 핸들, 가속 페달, 브레이크를 제어할 수 있는 권한이 주어졌다. 주행은 정해진 콘 코스에서 이뤄지고, 참가 모델은 한 번의 연속된 채팅 안에서 최대 3차례 시도할 수 있다. 드라이빙벤치는 각 시도에서 코스 중심선을 따라 얼마나 멀리 나아갔는지와 결승 구역 도달 여부를 기록한다.
주행 진척도는 모델이 코스 중심선에서 4m 이내를 유지하면서 완주 지점까지 이동한 거리를 중심선 전체 길이와 비교해 산출한다. 충돌이 발생하면 충돌 전까지의 진척도만 인정된다. 이동 거리는 첫 번째로 승인된 `set_motion` 명령부터 마지막 작동 구간이 끝날 때까지 GPS 속도를 적분해 계산하며, 완주한 시도에는 주행 시간도 표시된다. 완주하지 못한 기록은 DNF로 분류된다.
평가 기록에는 승인된 `set_motion` 및 `stop_now` 호출 횟수와 토큰 사용량, 정가 기준 비용도 포함된다. 토큰과 비용에는 주행 뒤 모델이 수행한 반성 과정도 반영된다. 같은 채팅에서 이어진 시도인지도 별도로 확인할 수 있어, 단순히 한 번의 성공 여부만이 아니라 반복 주행 과정과 대화 맥락이 결과에 미친 영향을 살펴볼 수 있도록 구성됐다.
주행 데이터 공개와 평가의 의미
드라이빙벤치는 순위표에서 시도별 진척도, 이동 거리, 주행 시간, 명령 횟수, 토큰·비용 정보를 비교할 수 있게 했다. 이용자는 각 모델의 실행 기록을 펼쳐 세부 과정을 확인하고, 개별 시도를 선택해 주행 추적 자료와 영상을 볼 수 있다. 별도의 보고서와 평가 추적 자료를 내려받을 수 있는 경로도 제공됐다.
공개된 원문에는 GPT-6 아스트라의 구체적인 순위, 완주율, 주행 거리, 충돌 여부, 비용 수치 등 개별 결과값은 제시되지 않았다. 따라서 이번 자료만으로 해당 모델이 코스를 완주했는지, 다른 모델보다 앞섰는지, 실제 도로 주행에 적합한지를 판단할 수는 없다. 확인되는 사실은 이 모델이 실제 도요타 코롤라의 조향·가속·제동을 제어하는 고정 코스 평가 대상에 포함됐다는 점이다.
이번 방식은 언어 모델의 차량 제어 능력을 동일한 코스와 측정 기준 아래 비교하려는 시도라는 데 초점이 있다. 실제 도로의 교통 상황이나 보행자 대응, 법규 준수, 장시간 안정성 등을 검증하는 시험은 아니므로, 결과가 곧바로 상용 자율주행 성능을 의미하지는 않는다. 향후 순위표와 실행 영상에 추가 기록이 쌓이면 모델별 제어 정밀도와 실패 양상, 명령 효율, 평가 비용을 함께 비교할 수 있을 전망이다.