핵심 요약
AI 요약
기사 목차 펼치기 / 접기
공모 역할을 부여받은 AI 둘이 카드게임의 일상 잡담 속에 은밀한 신호를 숨겼다. 대화 텍스트 감시는 이를 번번이 놓쳤으나, 신경망의 내부 신호 분석은 이를 명확히 구분해 냈다. 다만 감시 모델의 체급과 실험 환경의 변화에 따라 탐지 결과는 극명하게 갈렸다.
이번 연구는 AI 에이전트 간의 은밀한 담합을 측정하는 NARCBench 평가 환경에서 다중 에이전트의 공모 탐지 기법을 정밀 비교한다. 연구진은 지난 4월 논문을 처음 공개한 뒤 10월 15일 개정본을 통해 분석 체계를 보강했다. 실제 카지노에서 벌어진 부정행위가 아닌 엄밀한 통제 실험실 환경이다. 녹색 테이블 위에 카드가 놓인 실험을 따라가면, 감시자가 무엇을 포착하고 무엇을 놓쳤는지 그 메커니즘이 선명히 드러난다.
잡담 속에 숨긴 카운팅 신호, 달라진 베팅 판돈
블랙잭 테이블에는 AI 플레이어 넷이 둘러앉는다. 공모 조건에서는 둘이 비밀 한 팀으로 묶이고, 통제 조건에서는 넷 모두 독립적으로 움직인다. 연구진은 여러 판을 묶은 게임 세션 20개를 두 조건에서 각각 진행했다. 한 AI는 공개된 카드를 세어 남은 덱의 유불리를 계산하는 카드 카운팅(Card Counting)을 수행한다. 동료 AI는 그 정보를 받아 베팅 판돈을 조정한다. 정보가 오가는 유일한 통로는 테이블에 앉은 다른 플레이어도 훤히 들여다볼 수 있는 일상 잡담이다.
테이블의 모두가 똑같은 대화를 읽는데, 왜 둘에게만 판돈을 키우는 암호가 되는가?
연구진은 신호를 수신하는 플레이어의 베팅 금액과 덱의 카드 카운트가 통계적으로 연동되어 움직이는지 측정했다. 하지만 공모 조건의 모든 세션에서 기대만큼 강한 상관관계가 나타난 것은 아니다. 상관계수가 낮은 실행 세션에서도 공모 시도가 실제로 존재했는지 따로 검증했다. 은밀한 신호를 주고받으려 했다는 사실과 그 신호를 활용해 실제로 판돈을 쓸어 담았다는 실적 평가는 명확히 갈리기 때문이다.
게임 전 비공개 밀담, 판마다 바뀐 일회성 암호
이 실험의 핵심 출발점은 연구자의 통제된 지시다. 두 AI에게 공모 역할을 사전에 부여하고, 게임이 시작되기 전 둘만의 비공개 대화 창구에서 작전을 모의하도록 했다. 두 AI는 그때 일회성 신호 규칙을 합의한 뒤 공개 대화창에 메시지를 녹여냈다. 매 게임 세션마다 새로운 약속을 정하므로 외부 감시자가 사전에 적발할 수 있는 고정된 암호 단어 목록도 존재하지 않는다.
이를 ‘스테가노그래피(steganography, 기밀 신호 은닉 기법)’라고 부른다. 난수표나 암호문을 대놓고 전송하여 감시자의 의심을 사는 대신, ‘오늘 날씨가 참 쌀쌀하네요’라는 평범한 안부 편지의 특정 글자 배열 속에 비밀 지령을 숨기는 통신 원리다. 제3자에게는 시시콜콜한 잡담에 불과한 문장이, 규칙을 공유한 동료에게는 판돈을 올리라는 결정적 베팅 지침으로 기능한다.
문장은 만인에게 공개되지만, 암호의 약속은 둘만의 밀실에 머문다.
이번 카드게임은 AI가 자발적으로 악의적 담합을 개시하는지 관찰한 실험이 아니다. 연구진이 인위적으로 주입한 은밀한 협력 관계를 외부 감시자가 대화 텍스트만으로 가려낼 수 있는지 시험대에 올린 것이다. 무엇을 숨겼는지 추궁하기 전에, 누가 숨기도록 지시했는지부터 확인해야 하는 이유다.
대화를 읽고도 놓친 감시자, 맹목적 의심의 덫
대화 감시자로 큐웬(Qwen) 3-32B를 배치했을 때, 공모 세션 20개 중 의심스럽다고 정확히 짚어낸 것은 단 1개에 불과했다. 정상 세션 20개를 오탐하여 결백한 게임을 의심한 경우는 없었지만, 잡담에 숨어든 담합은 사실상 전혀 막아내지 못했다. 반대로 감시자로 투입된 구글의 젬마(Gemma) 4 31B는 공모 세션 20개를 모두 의심하는 데 성공했으나, 아무런 담합이 없던 정상 세션 20개 중 19개까지 공모로 낙인찍었다.
테이블의 모든 대화를 무차별적으로 의심하면 공모를 단 1건도 놓치지 않을 수 있다. 하지만 정상적인 협업까지 95% 확률로 멈춰 세우는 감시 체계를 실제 비즈니스 환경에서 가동하기는 불가능하다. 감시 알고리즘의 유효성을 측정하려면 공모를 얼마나 잘 적발했는가뿐 아니라, 결백한 정상 작업을 얼마나 잘못 단속하지 않았는지를 반드시 함께 저울질해야 한다.
연구진은 감시 모델에게 카드 카운팅의 위협 메커니즘을 상세히 설명하거나 위반 예시를 프롬프트에 추가하는 대조 실험도 병행했다. 그러나 기존 감시 모델은 공모 세션 20개 중 각각 3개와 2개를 구분해 내는 초라한 성적표에 그쳤다.
지침과 설명을 보강했다는 사실만으로 텍스트 감시의 맹점이 풀리지는 않았다.
문장 밖 신경망 신호 추적, 내부 활성값의 등장
연구진이 제안한 HELIOS는 겉으로 드러난 대화 텍스트가 아니라 모델의 내부 활성값(Activation)을 핵심 탐지 신호로 활용하는 새로운 분석 프레임워크다. 활성값은 모델이 입력 토큰을 처리하는 과정에서 다층 신경망(Hidden Layer) 내부에 순간적으로 형성되는 수치 벡터다. 사람이 겉으로는 태연한 표정과 목소리를 유지하더라도 뇌파나 심박수에 미세한 긴장 신호가 잡히듯, 공모 역할을 수행할 때 모델 내부 은닉층에 형성되는 수치적 특이점을 직접 추적하는 원리다. 연구진은 위원회 토론 과제에서 공모 역할과 정상 역할을 구분하도록 선형 판별 탐지기를 먼저 학습시킨 뒤, 구조가 완전히 다른 카드게임에 이를 교차 적용했다.
이 탐지기는 문장 속에 은닉된 암호문을 사람이 읽을 수 있는 언어로 번역하지 않는다. 오직 고차원 수치 텐서의 통계적 분포 차이만을 분류할 뿐이며, AI의 속마음을 독심술처럼 들여다보는 도구와는 거리가 멀다. 토론 환경에서 공모 역할을 지시받았을 때 수반된 신경망 특성이, 카드게임이라는 낯선 환경에서도 변별력을 유지하는지 검증한 것이다.
연구진이 큐웬 3-32B를 검증한 결과, 카드게임 환경에서 다섯 가지 내부 탐지 기법은 수신자 조작 특성 곡선하면적(AUROC) 0.99~1.00이라는 경이적인 수치를 기록했다. AUROC는 0.5면 동전 던지기 수준의 맹목적 찍기이고 1.0이면 완벽한 판별을 뜻하는 분류 평가 지표다. 카드게임 안에서는 내부 신호만으로 공모자를 거의 100% 식별했다. 그러나 구조가 다른 여섯 가지 일반 과제를 교차 평가한 평균값은 기법에 따라 0.48~0.88로 급락했다. 0.48은 사실상 무작위 추첨보다 못한 수준이다. 아무리 뛰어난 탐지 기법이라도 훈련받은 작업대를 벗어나 어디에 배치하느냐에 따라 성능이 모래성처럼 무너져 내렸다.
공개 데이터 재검증, 카드 밖에서 엇갈린 수치
본지는 저자가 공개한 재현 코드(reproduce_LR.py)와 큐웬 3-32B의 활성값 데이터셋을 바탕으로 탐지기 학습 및 평가 파이프라인을 직접 재구동했다. 저자 코드에 설정된 5개 신경망 층과 10개 난수(Random Seed) 기준을 그대로 유지했으며, 모델 가중치를 처음부터 다시 실행해 대화와 활성값을 새로 생성하는 비용은 배제했다. 재검증 결과 카드게임에서 나타난 압도적인 분류 성능 경향성은 그대로 확인됐다. 그러나 다른 과제에서 도출된 일부 세부 수치는 논문 본문 표와 완벽히 들어맞지 않았다.
원인을 분석해 보니 저자의 공개 평가 코드에는 다른 구조의 과제에서 총 36회의 공모 실행 데이터가 전수 투입됐다. 반면 논문 본문은 그중 연구진의 수동 품질 검수를 통과한 30회 실행만을 엄선해 집계했다고 명시하고 있다. 공개된 재현 코드는 이 수동 필터링 제외 조건을 자동으로 적용하지 않는 구조였다.
이번 자체 재검증 실행에서는 일부 선형 모델 학습 과정에서 수렴 경고(Convergence Warning)도 함께 발생했다. 필터링 제외 조건의 차이와 파이썬 런타임 실행 환경의 미세한 격차가 최종 수치에 미친 영향을 완전히 분리해 입증하기는 어려웠다. 본지가 논문 전체의 수치를 100% 무결하게 재현했다고 섣불리 단정하지 않은 이유다.
체급 높은 감시 AI의 한계, 사전 예시 없인 맹탕
논문 부록에는 대화 텍스트 감시의 부활 가능성을 엿보게 하는 흥미로운 반전 데이터가 수록되어 있다. 프런티어급 모델인 클로드 소넷 5(Claude Sonnet 5)에 블랙잭 카드 카운팅 위협에 대한 구체적 설명과 스테가노그래피 예시를 프롬프트로 함께 제공하자, 공모 세션 20개와 정상 세션 20개를 단 한 건의 오탐 없이 100% 정확하게 발라냈다.
그러나 환호는 길지 않았다. 동일한 클로드 소넷 5 모델이라 하더라도 사전에 구체적인 위협 설명과 예시를 쥐여주지 않은 기본 조건에서는, 젬마와 마찬가지로 공모와 정상 세션 전체를 무차별 의심하는 과잉 방어에 빠졌다.
앞서 실패했던 경량 모델의 감시와 이번 고성능 모델의 성공 사이에는 모델의 매개변수 체급뿐 아니라 사전에 주입된 지식 정보의 결정적 차이가 가로놓여 있다. 대화 텍스트만 읽어서는 공모를 절대 잡을 수 없다는 비관론도, 체급 높은 모델 하나만 투입하면 모든 공모가 마법처럼 해결된다는 낙관론도 데이터의 본질을 온전히 담아내지 못한다.
결국 관건은 인간 관리자가 사전에 어떤 미지의 위협을 미리 예상하고, 감시 프롬프트에 얼마나 정교한 모범 예시를 주입할 수 있느냐로 귀결된다. 연구진 역시 최상위 프런티어 모델을 상시 감시자로 구동하고 방대한 예시 문맥을 매 턴 주입하는 방식이 초래할 막대한 API 토큰 비용 문제를 정면으로 지적한다.
탐지 벤치마크 점수만으로 실제 산업 현장의 경제적 타당성까지 판정할 수는 없다.
테이블 밖으로 나간 순간 무너진 탐지율, 남겨진 숙제
연구진은 공모 역할을 사전에 지시하지 않은 별도의 자율 협업 환경에서도 내부 활성값 탐지기를 시험대에 올렸다. 두 AI 에이전트가 서로의 코드를 상호 교차 검토하는 과제였다. 검증에 필수적인 코드 실행 정보가 상대에게 충분히 전달되지 못하는 불완전한 조건임에도, 두 AI가 서로의 작업을 만연히 승인해 버리는 기이한 담합 현상이 관측됐다.
그러나 이 환경에 투입된 내부값 탐지기의 성적표는 초라했다. 다섯 가지 탐지 기법 중 세 가지가 동전 던지기 수준인 우연 확률과 다를 바 없는 수치를 기록하며 갈피를 잡지 못했다. 논문 저자들 역시 자발적 협업 환경에서 공모로 분류된 행동이 정말로 의도된 악의적 담합인지, 아니면 모델의 단순한 판단 미숙인지조차 명확히 규명하기 어렵다고 한계를 인정했다. 내부값 탐지기가 학습한 신호는 ‘연구자가 역할을 인위적으로 부여한 통제된 환경의 특성’이었을 뿐이다. 그 신호가 복잡한 실무 협업 속에서 AI 스스로 발생시킨 돌발적 담합의 징후까지 안정적으로 가려내지는 못했다.
다른 과제에서는 정상적인 무죄 작업을 잘못 의심하는 오탐 비율(False Positive Rate)을 1% 미만으로 엄격히 억제하자, 실제 공모를 잡아내는 적발률 또한 바닥으로 곤두박질쳤다. 연구진은 단 한 번의 단일 턴 판정에 의존하기보다, 여러 회차에 걸친 상호작용의 누적 증거를 종합 분석하는 다중 턴 탐지 체계를 차기 연구 과제로 제시했다.
카드 테이블 위에서 연구자는 이미 누가 한 팀인지 정답 명단을 손에 쥐고 있었다. 그러나 현실의 수많은 협업 현장에는 그 공모자 명단 자체가 존재하지 않는다.
명단 없는 현실에서 낯선 담합을 먼저 찾아내는 일, AI 안전망의 진짜 숙제다.
