클로드 페이블 5 생물 안전장치 오탐 85%↓

앤스로픽(Anthropic)은 클로드(Claude) ‘페이블 5(Fable 5)’의 생물 관련 안전장치 업데이트를 통해 오탐을 크게 줄였다고 8월 7일 밝혔다. 회사는 이번 조치로 생물 질의 뒤 덜 유능한 모델로 전환되는 ‘폴백’이 제품 전반에서 생물 관련 기준으로 약 85% 감소했다고 설명했다. 이에 따라 일상 건강·교육 질문에서 폴백이 줄고, 임상 업무 등에서 더 넓은 범위의 생물 태스크 지원이 가능해질 것으로 기대했다. 앤스로픽은 다만 페이블 5가 일부 복잡한 생물 작업에서 전문가보다 뛰거나 운영 지원을 제공할 수 있어 이중용도(dual-use) 악용 위험 관리가 필요하다고 강조했다. 회사는 생물 오남용을 막기 위한 안전 분류기(classifier)를 통해 분류기가 작동하면 요청을 ‘오퍼스 5(Opus 5)’로 우회한다고 밝혔다. 또 분류기 성능을 높이기 위해 오탐·미탐을 줄이고, ‘자일브레이크(jailbreak)’ 우회 시도에도 견딜 수 있게 연구와 테스트를 계속하고 있다고 덧붙였다.

원문 보기 (anthropic.com)

RELATED ARTICLES