에리얼 사이먼(Ariel Simon)은 챗GPT(ChatGPT)와 제미나이(Gemini), 구글(Google)의 AI 검색 답변에서 374개 기업을 겨냥한 허위 연락처와 사기성 정보가 노출되는 사례를 발견했다고 주장했다. 사이먼은 9월 24일 미디엄(Medium)에 올린 탐지 시스템으로 확인한 결과라고 설명했다.
AI 답변에 섞인 허위 연락처
사이먼이 소개한 공격은 기업을 검색하는 이용자에게 가짜 전화번호와 이메일 주소, 로그인 페이지 등을 공식 정보처럼 제시하도록 유도하는 방식이다. 공격 대상에는 포춘(Fortune) 100대 기업과 항공사, 은행, 여행 플랫폼, 소프트웨어 업체 등이 포함됐다. 구체적으로 델타항공(Delta), 루프트한자(Lufthansa), 유나이티드항공(United Airlines), 에미레이트항공(Emirates), 카타르항공(Qatar Airways) 등이 거론됐다.
탐지 시스템은 챗GPT와 제미나이, 구글의 AI 개요(AI Overview)가 내놓는 답변과 답변이 참고한 출처를 함께 분석했다. 출처와 그 안의 콘텐츠를 평가하고, 허위 전화번호·웹주소·이메일 주소가 인용되면 사례로 기록하는 방식이다. 사이먼은 은행과 항공사뿐 아니라 에어비앤비(Airbnb), 트립어드바이저(Tripadvisor) 등 여행 플랫폼도 공격 대상이었다고 적었다.
검색 최적화로 AI 답변 공략
공격자들은 게시물과 PDF 문서, 리뷰, 가짜 고객지원 페이지 등을 대량으로 만들어 웹에 퍼뜨린 것으로 소개됐다. 글에 따르면 이 콘텐츠에는 AI가 특정 출처를 인용하도록 유도하는 생성형 엔진 최적화(GEO) 기법이 활용됐다. 통계 수치를 넣거나 전문가 인용을 덧붙여 콘텐츠의 신뢰도를 높이는 방식이 예시로 제시됐다. 사이먼은 이런 기법이 마케팅에만 쓰이지 않고 허위 정보를 퍼뜨리는 데 악용될 수 있다고 설명했다.
탐지 결과 공격을 받은 기업은 모두 374곳이며, 악성 페이지는 수만건에 달했다고 사이먼은 밝혔다. 다만 허위 연락처가 AI 답변에 매번 나타난 것은 아니라고 덧붙였다. 대규모 언어 모델의 답변은 일관되지 않아 같은 검색어를 다시 입력해도 공격이 재현되지 않는 사례가 있었고, 공격에 사용된 콘텐츠가 정교할수록 허위 정보가 답변에 포함될 가능성이 커졌다는 설명이다.
사이먼은 이번 사례가 실험이나 개념 증명에 그치지 않고 실제로 진행 중인 공격이라고 주장했다. 델타항공과 루프트한자, 카타르항공 등 항공사와 뱅크오브아메리카(Bank of America), 웰스파고(Wells Fargo), 체이스(Chase), 씨티(Citi) 등 은행을 사례로 들었다. 또 인용한 별도 조사에서는 이용자의 92%가 AI 답변을 검증하지 않는다는 결과가 나왔다고 소개했지만, 해당 조사 방법이나 표본 규모는 글에 제시되지 않았다.