화이트서클(White Circle)은 오픈AI(OpenAI)와 구글(Google)의 이미지 생성 모델이 성적 이미지 차단 필터를 우회하는 공격에 취약하다고 주장했다. IT 전문 매체 아스 테크니카는 10월 14일 화이트서클의 사전 공개 연구와 추가 테스트 결과를 보도했다. 연구진은 온라인에서 구할 수 있는 도구와 API 호출만으로 금지된 성적 콘텐츠를 약 13% 생성했다고 밝혔다.
필터 우회 성공률 약 13%
화이트서클은 지난달 공개한 사전 공개 논문에서 달리 3(DALL·E 3), 구글의 나노 바나나 2(Nano Banana 2), GPT 이미지 2(GPT-Image-2)의 안전장치를 시험했다. 연구진은 자체 개발 도구가 아니라 누구나 내려받을 수 있는 도구와 API를 이용해 필터를 우회했다고 설명했다. 생성 결과를 연구진이 직접 검토해 우회 성공 여부를 확인했으며, 같은 기준으로 시험한 방법 중 성공률이 가장 높았다는 게 화이트서클의 주장이다.
공격 기법은 ‘반복 전략 진화 레드팀 테스트(RISE)’로, 공격 문구를 만드는 모델과 결과물이 금지 콘텐츠인지 판별하는 모델을 결합한다. 연구진은 단일 프롬프트를 반복하는 대신 여러 문구와 상황에서 통하는 공격 패턴을 찾았다. 공격 모델은 허깅페이스(Hugging Face)에서 내려받은 큐웬(Qwen) 모델을, 판별 모델은 제미나이 3.8 플래시(Gemini 3.8 Flash)를 사용했다. 프런티어 AI 모델을 공격하는 데 같은 수준의 모델이 필요하지 않으며, 전문 지식도 요구되지 않는다고 연구진은 설명했다. 미드저니(Midjourney)는 통제된 비교 시험에 적합한 공개 API가 없어 평가 대상에서 제외됐다.
신형 모델도 이전 버전보다 취약하다는 주장
화이트서클은 오픈AI와 구글이 각각 새로 출시한 챗GPT 이미지 2.5(ChatGPT Images 2.5)와 나노 바나나 2.1(Nano Banana 2.1)에 같은 방법을 적용한 결과, 두 모델 모두 이전 버전보다 안전 필터를 훨씬 쉽게 우회할 수 있었다고 아스 테크니카에 전했다. 두 회사는 취약점 관련 논평 요청에 응답하지 않았으며, 새 테스트 결과를 전달받은 뒤에도 입장을 내놓지 않았다. 앞서 화이트서클은 일부 프런티어 AI 연구소에 인맥을 통해 결과를 공유했다고 밝혔다.
화이트서클의 데니스 실로프 최고경영자는 모델의 성능과 콘텐츠 생성 능력이 커졌거나, 안전성이 성능 향상보다 우선순위에서 밀렸을 가능성을 원인으로 들었다. 그는 명백히 걸러야 할 성적 콘텐츠도 차단하지 못한다면 해킹 등 다른 바람직하지 않은 AI 행동을 막는 안전장치도 우려된다고 말했다. 화이트서클 연구 엔지니어 드미트리 카를라펜코는 이미지 생성 모델의 레드팀 시험 기준이 충분히 정립되지 않았다고 지적했다.
화이트서클은 공격 도구 전체를 오픈소스로 공개해 모델 개발사들이 취약점의 범위를 파악하고 방어를 강화하도록 할 계획이다. 연구 결과는 오는 11월 AI 학술대회 뉴립스 2026(NeurIPS 2026)에서 발표할 예정이다. 실로프는 정부 관계자들과 제3자 안전성 평가 도입을 초기 논의 중이라며 독립 감사를 의무화해야 한다고 주장했다. 연구진은 기업들이 모델 안전과 보안에 더 투자해야 한다고 촉구했지만, 공개된 내용만으로는 새 모델의 우회 성공률이나 각 회사의 개선 계획은 확인되지 않았다.
