후트먼 부사장은 캐터필러와 코어위브의 협력으로 건설장비용 물리 AI의 현장 데이터 처리부터 시뮬레이션·학습 환경 활용까지 걸리는 시간이 수개월 또는 수주에서 수시간으로 줄었다고 말했다. 캐터필러의 브랜던 후트먼 물리 AI 플랫폼·건설 자율주행 부문 부사장과 코어위브의 리처드 알펠트 물리 AI 부문 수석부사장은 실리콘앵글(SiliconANGLE)과의 인터뷰에서 협업 내용과 건설 현장 자율화의 과제를 설명했다.
건설장비 학습에 하루 수TB 데이터 필요
캐터필러는 장비와 딜러, 고객으로부터 수집한 약 18페타바이트(PB)의 통합 데이터를 디지털 생태계에 보유하고 있다. 다만 후트먼 부사장은 이 데이터도 건설 현장에서 물리 AI를 학습시키는 데 필요한 전체 데이터에 비하면 일부에 불과하다고 말했다. 라이다와 카메라 영상뿐 아니라 장비 제어와 성능 정보도 함께 활용해야 하기 때문이다.
장비 한 대에서 하루 동안 쌓이는 데이터만 테라바이트(TB) 규모에 이를 수 있다는 게 캐터필러의 설명이다. 센서가 포착한 주변 환경과 기계 제어·작업 성능 정보를 시간에 맞춰 연결해야 학습에 쓸 수 있다. 자율 굴착기를 훈련할 때는 원격 측정 데이터와 영상 정보를 넣고 굴착 상황을 수백만 차례 시뮬레이션한 뒤 강화학습을 더하는 과정이 필요하다.
광산 자율주행 기술을 건설 현장에 적용
캐터필러는 광산 장비의 자율주행 기술을 다년간 운용해 왔지만, 건설 현장은 조건이 더 자주 달라져 같은 방식을 그대로 적용하기 어렵다고 설명했다. 후트먼 부사장은 광산은 작업 환경이 비교적 일정한 반면 건설 현장은 구조화된 시스템을 비정형 환경에 맞춰야 해 자율화가 까다롭다고 말했다.
코어위브는 최근 고객사의 분야별 전문가와 자사 엔지니어가 함께 일하는 ‘물리 AI 현장 엔지니어링’ 서비스를 시작했다. 캐터필러는 올해 코어위브와 협력에 들어갔으며, GPU 자원뿐 아니라 현장 적용 경험도 협력사 선택의 이유였다고 후트먼 부사장은 밝혔다. 양사는 엔비디아와 협력해 AI 모델로 현장에서 들어오는 데이터를 주석 처리하고 라벨을 붙이고 있다.
후트먼 부사장은 데이터 처리부터 시뮬레이션이나 학습 환경에서 활용하기까지의 피드백 시간이 수개월 또는 수주에서 수시간으로 줄었다고 말했다. 후트먼 부사장은 피드백 과정이 하루 안에 이뤄질 수 있다고 설명했다. 인터뷰에서는 건설장비의 자율 운용을 위한 대규모 저장공간과 별도 인프라의 필요성도 제기됐지만, 구체적인 서비스 가격이나 장비 적용 일정은 공개되지 않았다.