구글 딥마인드(Google DeepMind)가 AI 모델의 벤치마크 오염을 막기 위해 평가 데이터와 모델을 모두 공개하지 않는 암호화 방식의 이중 블라인드 시험에 착수했다. 싱가포르 AI 안전연구소 등과 함께 제미나이 플래시 라이트(Gemini Flash Lite) 계열 모델을 기밀 벤치마크로 평가하는 시범 프로젝트다.
더디코더(The Decoder)는 8월 28일 구글 딥마인드가 독점 프런티어 AI(frontier AI) 모델을 대상으로 한 첫 이중 블라인드 평가를 시작한다고 보도했다. 구글 딥마인드는 외부 평가의 시험 문제가 모델에 사전 노출돼 학습이나 최적화에 활용되는 ‘벤치마크 오염’을 평가 신뢰성을 떨어뜨리는 핵심 문제로 보고 있다.
시험 응시자가 문제를 미리 알고 있다면 만점을 받아도 실력을 입증할 수 없는 것처럼, AI 모델이 훈련 과정에서 테스트 문항을 이미 접했다면 벤치마크 점수만으로 실제 능력을 판단하기 어렵다는 설명이다. 이번 방식에서는 외부 시험 데이터가 암호화된 ‘상자’ 안에 잠기며, 모델이 특정 시험 문제를 나중에 겨냥해 성능을 조정하는 일을 막는 것을 목표로 한다.
기존의 민감한 외부 평가에는 양쪽이 감수해야 할 선택지가 있었다. 평가기관이 시험 프롬프트를 모델 제공업체에 넘기면 제공업체가 문제를 미리 볼 수 있고, 반대로 제공업체가 모델 가중치를 외부에 제공하면 지식재산이 노출될 위험이 있었다. 구글 딥마인드는 이 상충 관계를 없애기 위해 구글 클라우드의 기밀 컴퓨팅 포트폴리오에 포함된 컨피덴셜 스페이스(Confidential Space)를 활용한다.
이 시스템은 외부 평가 데이터와 모델이 각각 소유자의 통제 아래 비공개로 유지되는지를 암호학적으로 확인한다. 평가기관은 제미나이의 가중치를 볼 수 없고, 구글 딥마인드도 시험 프롬프트를 볼 수 없다는 구조다. 그동안 외부 프롬프트의 기밀성은 로그를 남기지 않는 프로토콜과 계약상 보호조치에 주로 의존했지만, 여기에 기술적·암호학적 보호를 추가한다는 것이다.
최근에는 앤트로픽(Anthropic)의 페이블(Fable) 5에 대한 ARC-AGI 벤치마크 평가가 지연된 사례가 이런 문제를 보여줬다. 앤트로픽이 최강 모델에 30일간 데이터 보존 정책을 적용하면서 평가 일정에 영향을 줬다는 설명이다. 이중 블라인드 평가는 모델 가중치나 시험 문항을 상대방에게 넘기지 않고도 검증을 진행하는 방안으로 제시됐다.
구글 딥마인드는 특히 사이버보안 평가나 정부기관이 수행하는 시험처럼 데이터 민감도가 높은 분야에서 이 방식이 중요하다고 설명했다. 독립기관이 데이터 주권과 보안을 포기하지 않은 채 고도화된 모델을 엄격하게 검증할 수 있다는 취지다. 구글 딥마인드는 이번 시도가 모델 감독의 새로운 기준을 마련하고, 업계가 더 신뢰할 수 있는 AI 시스템을 구축하는 데 도움이 되길 기대하고 있으며 방법론과 결과의 세부 내용을 기술 보고서에 제시했다.