헝가리 스타트업 디퓨즈드라이브(DiffuseDrive)가 실제 환경에서 수집하기 어려운 희귀·위험 상황을 재현한 합성 훈련데이터를 생성해 물리 AI 시스템의 데이터 부족 문제를 해결하고 있다. IT 전문 매체 테크유는 9월 23일 디퓨즈드라이브의 가보르 베체이 AI 엔지니어링 부사장과 다니엘 슈미트 AI 연구 책임자를 인터뷰해 이같이 전했다.
물리 AI가 합성데이터를 필요로 하는 이유
디퓨즈드라이브의 플랫폼은 방위산업, 항공우주, 광업, 자율주행 등 물리적 환경에서 작동하는 AI를 대상으로 한다. 언어 모델은 인터넷에 축적된 방대한 텍스트를 학습할 수 있지만, 물리 AI는 실제 공간에서 데이터를 모으기 어렵고 관심 대상인 상황은 매우 어렵거나 위험해 재현하기도 어렵다는 설명이다. 특히 해안 감시 시스템이나 자율주행 차량처럼 드물게 발생하는 상황을 인식해야 하는 시스템은 기존 데이터만으로 충분히 학습하기 어렵다.
플랫폼은 고객이 보유한 데이터와 이미 학습한 신경망을 분석해 데이터셋의 공백과 모델의 취약점을 찾는다. 이후 누락된 상황을 합성데이터로 생성해 기존 데이터셋에 추가하고, 모델을 다시 학습한 뒤 성능을 점검하는 과정을 반복한다. 가보르 베체이 부사장은 고객이 이미지나 데이터 포인트 100개 또는 수천 개와 평가가 끝난 모델을 갖고 오는 경우가 많으며, 이를 바탕으로 실제 환경에서 발생할 수 있지만 데이터에 없는 사례를 추정한다고 설명했다.
생성 대상은 단순히 현실적인 장면 전체가 아니다. 광산 자율주행 시스템이라면 야생동물이나 가축을 우선적으로 다뤄야 할 사례로 꼽을 수 있고, 방위 분야에서는 해안선 감시 카메라에 작게 잡히거나 시야의 이례적인 위치에 나타나는 물체가 핵심 사례가 될 수 있다. 디퓨즈드라이브는 고객의 카메라 특성, 센서, 데이터 형식에 맞춰 생성 시스템을 조정하며, 특정 센서나 카메라에 치우친 데이터를 만드는 것도 실제 적용 환경에 맞추기 위한 의도적인 설정이라고 밝혔다.
생성 AI의 현실성·제어 문제 해결
합성데이터가 실제 학습에 쓰이려면 생성 이미지나 영상이 현실적이고 고객의 요구에 맞아야 한다. 다니엘 슈미트 AI 연구 책임자는 생성 AI가 비현실적인 장면을 만들 수 있기 때문에 결과물의 현실성, 상황의 개연성, 폐기 여부를 판별하는 품질보증 체계를 함께 운영한다고 말했다. 필요하면 사람이 데이터셋을 직접 점검하고, 자동화된 품질검사도 활용한다. 기반 모델에서 비롯된 편향은 사전 분석과 완화 장치로 관리한다는 것이다.
또 다른 과제는 원하는 물체를 원하는 위치와 크기로 생성하는 제어력이다. 일반적인 이미지 생성 모델은 장면에 풍선을 넣으라는 지시를 따를 수 있지만, 풍선을 멀리 배치하고 이미지에서 10픽셀 크기로 표시하라는 식의 정밀한 요구를 처리하기는 어렵다. 디퓨즈드라이브는 물체의 위치와 크기를 조절하는 전용 솔루션을 개발했다고 설명했다. 다만 원문 인터뷰에는 제품의 정식 출시 일정이나 가격, 계약 규모가 제시되지 않았으며, 회사가 어느 고객에게 서비스를 제공하는지도 공개되지 않았다. 현재 확인되는 적용 대상은 방위·항공우주·광업·자율주행 분야이며, 플랫폼은 각 고객의 데이터와 센서 환경에 맞춰 반복적으로 생성·검증·재학습하는 방식으로 운용된다.