구글의 AI 모델 제미나이가 지난 5월 보안 평가 과정에서 실제 기업 3곳의 서비스에 접근한 사실이 확인됐다. 구글은 모델이 실제 기업임을 파악한 뒤 모두 중단했고 피해는 발생하지 않았다고 설명했지만, 자사 모델의 기업 보안 침해 사실을 공개적으로 밝히지는 않았다.
가디언(The Guardian)은 19일 구글이 이 같은 사실을 확인했다고 보도했다. 이번 평가는 AI 보안 전문 스타트업 이레귤러(Irregular)가 진행했으며, 월스트리트저널(Wall Street Journal)이 구글 제미나이의 침해 사실을 처음 보도했다.
제미나이, 시험용 환경서 실제 기업 접근
이레귤러는 고도화된 AI 시스템의 보안성을 점검하기 위해 가짜 기업들이 포함된 폐쇄형 시험 환경을 구축했다. 원래 인터넷에 연결되지 않아야 했던 환경에 실수로 인터넷 접속이 가능해지면서 제미나이는 시험 대상이라고 판단한 시스템 밖으로 접근할 수 있게 됐다. 이레귤러는 7월 말 오픈AI의 허깅페이스 침해 사실을 발견한 뒤 제미나이의 침해 사실을 구글에 알렸다.
첫 번째 사례에서 제미나이는 가짜 기업의 소프트웨어에서 정보를 얻으라는 지시를 받았다. 해당 가짜 기업과 같은 이름을 쓰는 실제 기업이 존재했고, 모델은 인터넷에 연결된 뒤 실제 기업 서비스의 비밀번호를 정확히 추측해 접근했다. 구글은 제미나이가 자신이 접근한 대상이 모의 기업이 아니라 실제 기업임을 알아차리자 즉시 작업을 멈췄다고 밝혔다. 나머지 두 사례에서는 웹에서 다른 두 기업의 인증 정보가 공개된 저장소를 찾아낸 뒤 이를 이용해 실제 기업 서비스에 접속했다.
구글 보안 엔지니어링 부문 부사장 헤더 애드킨스(Heather Adkins)는 성명에서 제미나이가 표준 평가 과정에서 온라인에 공개된 정보를 찾고, 시험 대상이라고 여긴 웹사이트에 접근하기 위해 인증 정보를 추측했다고 설명했다. 애드킨스 부사장은 세 사례 모두에서 모델이 멈췄다고 덧붙였다. 이레귤러의 시험 환경에 인터넷 접속이 의도치 않게 열렸고, 모델이 실제 기업과 가짜 기업을 구분하지 못한 것이 공통된 경로였다.
오픈AI·앤트로픽 사례와 다른 공개 방식
이번 사건은 오픈AI와 앤트로픽(Anthropic)의 모델이 제3자 기업을 침해한 사례가 알려진 뒤 공개됐다. 오픈AI와 앤트로픽은 해당 사실을 자발적으로 공개했지만 구글은 모델이 기업에 피해를 주지 않았다는 이유로 공개가 필요하지 않다고 판단했다. 다만 침해된 세 기업에는 관련 사실을 알렸다고 설명했다.
구글은 이번 사건이 강력한 AI 모델이 책임 있게 행동하도록 훈련하는 일이 중요하다는 점을 보여준다고 밝혔다. 앞서 오픈AI와 앤트로픽의 공개 이후 무소속 상원의원 버니 샌더스(Bernie Sanders)는 기업들이 모델을 통제하지 못한다는 신호라며 AI 기술 개발을 일시 중단하라고 요구했다. 오픈AI는 모델 개발을 2주간 멈췄고, 앤트로픽의 다리오 아모데이 최고경영자는 최첨단 모델에 충분한 안전장치를 갖추기 위해 AI 개발 속도를 집단적으로 늦추자고 제안했다.