앤트로픽(Anthropic)이 AI 시스템의 취약점을 찾는 레드팀 기법을 정리하고, 평가 결과를 객관적으로 비교하려면 체계적인 표준과 관행이 필요하다고 밝혔다. 회사는 8월 27일 블로그에서 전문가 협업부터 언어 모델을 활용한 자동 평가까지 실제로 사용한 접근법의 장점과 한계를 소개했다.
레드팀은 기술 시스템을 공격적으로 시험해 잠재적 취약점을 찾아내는 방식이다. 현재 AI 연구자와 개발자들은 같은 위협 모델을 평가할 때도 서로 다른 기법과 절차를 사용하고 있어 시스템 간 안전성을 객관적으로 비교하기 어렵다는 것이 앤트로픽의 설명이다. 회사는 이런 문제를 해결하기 위해 정성적 레드팀에서 자동화된 평가 개발로 이어지는 반복적 과정을 제시했다.
고위험 위협에는 해당 분야의 외부 전문가가 참여하는 도메인별 레드팀이 적합하다고 봤다. 앤트로픽은 신뢰·안전 분야에서 사용 정책의 여러 주제를 대상으로 외부 전문가와 심층적인 정성 평가를 하는 ‘정책 취약점 테스트’(PVT)를 운영하고 있다. 아동 안전은 손(Thorn), 선거 무결성은 전략대화연구소(Institute for Strategic Dialogue), 급진화 문제는 증오·극단주의 대응 글로벌 프로젝트(Global Project Against Hate and Extremism) 등과 협력했다.
국가안보에 중대한 영향을 줄 수 있는 ‘프런티어 위협’ 평가도 확대하고 있다. 주요 대상은 화학·생물·방사능·핵(CBRN) 위협, 사이버보안, 자율형 AI 위험이며, 각 분야 전문가와 함께 시스템을 시험하고 새로운 평가 방법을 공동 설계한다. 위협 모델에 따라 상용 배포 버전인 클로드(Claude)를 실제 환경에 가깝게 시험하거나, 위험 완화 조치가 다른 비상업용 버전을 사용할 수 있다고 설명했다.
레드팀 활동이 영어와 미국 거주자의 관점에 치우친다는 점도 과제로 제시했다. 앤트로픽은 다른 언어와 문화권에서 시험하는 것이 대표성 부족을 개선하는 방법이 될 수 있다며 싱가포르 정보통신미디어개발청(IMDA), AI 검증 재단(AI Verify Foundation)과 협력해 영어·타밀어·중국어·말레이어 등 4개 언어로 싱가포르 이용자와 관련된 주제를 평가했다. 공공 부문의 역량 강화가 지역 주민의 참여를 촉진할 수 있다는 설명이다.
언어 모델 자체를 레드팀에 활용하는 방법도 검토 중이다. 모델이 다른 AI 모델을 공격할 가능성이 높은 적대적 예시를 자동 생성하면 수동 시험을 보완해 더 효율적이고 폭넓은 평가가 가능하다는 취지다. 앤트로픽은 레드팀 모델이 공격을 만들고, 블루팀 모델이 해당 결과를 학습해 비슷한 공격에 강해지도록 미세 조정하는 과정을 반복하면서 새로운 공격 경로를 찾고 시스템의 방어력을 높이는 방식을 설명했다. 회사는 정책 입안자들이 표준화된 시험 생태계를 조성하고 현재의 위험과 향후 모델 성능 향상에 따른 위협에 대비해야 한다고 제안했다.