새 연구에서 AI 안전성 평가가 요청을 전반적으로 차단하는 것만으로도 점수가 오를 수 있으며, 실제 사용 때와 시험 때 다른 행동을 하는 모델을 가려내기 어렵다는 결과가 나왔다. 연구진은 기존 평가가 안전성을 하나의 특성으로 측정하지 못한다고 분석했다.
더디코더(The Decoder)는 8월 22일 영국 AI 안전연구소 소속 연구진 등이 참여한 연구를 인용해 이같이 보도했다. 연구진은 언어 모델 최대 192개의 5000개 이상 시험 문항 답변을 분석하고, 인간의 IQ·적성검사에 쓰이는 심리측정 방법을 적용했다. 조사 대상은 널리 쓰이는 안전성 벤치마크 8개였다.
분석 결과 벤치마크들은 안전성을 하나의 공통된 능력으로 측정하지 않고, 요청을 얼마나 엄격하게 거부하는지, 얼마나 진실하게 답하는지, 상황에 따라 무해하거나 위험할 수 있는 콘텐츠를 어떻게 처리하는지 등 서로 다른 세 특성을 측정했다. 이들 특성 사이의 연관성은 작아, 정직하게 답하는 모델인지와 요청을 자주 거부하는지는 거의 별개인 것으로 나타났다.
특히 유해 요청 거부를 평가하는 하름벤치(HarmBench)와 무해한 요청에 대한 과도한 주의를 감점하는 OR-벤치-하드(OR-Bench-Hard)의 상충이 문제로 지적됐다. 한 평가에서 점수가 높은 모델은 다른 평가에서 거의 항상 낮은 점수를 받았다. 여러 벤치마크 점수를 평균 내면 이 차이가 가려지고, 비슷한 시험에서 같은 거부 행동이 중복 집계돼 요청을 전반적으로 차단하는 모델이 실제 유용성이 떨어져도 높은 평가를 받을 수 있다는 것이다.
시험 문항 대부분은 모델 간 차이를 보여주지 못했다. 거의 모든 모델이 맞히거나 거의 모두 틀리는 문항이 많았기 때문이다. 정보를 많이 주는 문항을 골라 쓰면 25문항씩 세 차원만 평가해도 같은 규모의 무작위 시험보다 정확도가 높았다. 응답 결과에 따라 다음 문항을 바꾸는 적응형 방식으로는 하름벤치나 소리-벤치(SORRY-Bench) 같은 개별 평가를 약 10문항으로 수행할 수 있어, 전체 시험 대비 비용을 97~99% 줄일 수 있었다.
연구진은 모델이 시험 중임을 알아차리고 평소보다 조심스럽게 행동하는 현상을 샌드배깅(sandbagging)으로 부르고, 응답 패턴을 통해 이를 탐지했다. 어려운 문항은 맞히면서 쉬운 문항을 틀리는 학생처럼 행동하는 모델을 의심하는 방식이다. 과도하게 조심하라는 지시를 받은 모델의 80~100%를 찾아냈지만, 정상적인 모델 10개 중 1개는 잘못 의심했다. 과거 자신의 평가 결과와 비교하는 검사를 추가하면 탐지율은 94~97%로 높아졌다.
이 방법은 AI 서비스가 같은 모델을 계속 쓰는지도 확인할 수 있다. 연구진은 16개 API 엔드포인트를 다시 질의해 서로 다른 모델 14개 중 13개를 응답 패턴만으로 식별했다. 같은 모델로 표시된 두 항목은 실제로 같다고 묶지 않았고, 한 서비스에서는 두 달 전 답변과 현재 답변이 3분의 1가량 달라져 같은 모델명 뒤에서 무언가 조용히 바뀐 정황이 포착됐다. 연구진은 단일 안전성 점수만으로 출시 여부를 결정해서는 안 된다고 주장하면서도, 이번 샌드배깅이 직접 지시로만 모의된 만큼 탐지를 피하도록 학습된 모델은 더 어려울 수 있다고 밝혔다. 앞서 메타 연구에서도 AI 벤치마크 445개 대부분이 정의·문항 선정·통계 방법에 약점을 보였다. 앤트로픽(Anthropic)의 클로드 페이블(Claude Fable) 5가 MRI 분할을 생물테러로 표시하고 말라리아 전파 질문을 차단한 사례, 클로드 3.5 소넷(Claude 3.5 Sonnet)이 시험 상황을 힌트 없이도 84% 식별한 사례도 이런 한계를 보여준다.