핵심 요약
AI 요약
기사 목차 펼치기 / 접기
구글 딥마인드(Google DeepMind)가 암호화 메신저 시그널(Signal)의 암호 실행 코드에 수학적 보안 증명을 붙였다. 구글 딥마인드 연구진은 AI 에이전트에게 증명 작성을 맡기고 기계 검사기로 논리를 검증했지만, 무엇을 지켜야 하는지 정한 보안 명세는 사람이 직접 검토하고 승인했다. 이번 연구는 메신저 앱 전체의 안전 인증이 아니라 핵심 암호 라이브러리의 1대1 대화 처리 코드를 검증한 결과인 만큼, 그 성과와 경계를 정확히 나누어 읽어야 한다.
자물쇠 시험과 보안 증명의 차이
자물쇠를 여러 번 당겨도 열리지 않았다면 시험한 공격은 견뎠다는 뜻이지만, 아직 시도하지 않은 우회 경로까지 막았는지는 별도 문제다. 보안 프로그램 역시 몇 차례 모의 해킹이나 테스트를 통과했다는 사실만으로 모든 공격에 안전해지지는 않는다.
형식 검증(Formal Verification)은 지켜야 할 보안 조건을 먼저 수학 언어로 적은 뒤, 프로그램 코드가 어떤 입력을 받아도 그 조건을 만족하는지 논리로 증명하는 작업이다. 이때 조건은 ‘안전해야 한다’는 막연한 주문이 아니라, 누가 어떤 비밀 정보를 탈취했고 어느 시점의 대화를 보호해야 하는지까지 구체적으로 정해야 한다. 자물쇠 비유로 돌아가면, 검사할 공격 시나리오와 지켜야 할 대상을 먼저 못 박고 증명하는 셈이다.
실제 시그널의 PQXDH 공식 명세와 트리플 래칫(Triple Ratchet) 구조도 키가 유출되는 시점과 종류에 따라 이전 대화와 향후 대화의 보호 여부를 엄격히 구분한다. 예컨대 대화 암호화에 쓰는 비밀값인 암호키 일부가 유출됐을 때 공격자가 예전 메시지까지 거슬러 읽을 수 있는지(순방향 비밀성), 혹은 유출이 멈춘 뒤 새 대화가 다시 안전해지는지(침해 후 보안)를 따진다. 시그널의 트리플 래칫은 메시지마다 새 열쇠를 만들어 쓰고 곧바로 지우며, 답장을 주고받을 때마다 새 비밀값을 섞어 잠금장치를 새로 거는 방식으로 이 두 조건을 구현한다.
AI가 쓰고 기계가 검사하는 증명
지난 10일 공개한 알파프루프 코드(AlphaProof Code)는 사람이 AI와 함께 보안 조건인 ‘명세(Specification)’를 작성하고, 사람이 승인한 명세에 맞춰 제미나이 카본(Gemini Carbon) 기반 에이전트들이 증명을 만들어 내는 다중 에이전트 프레임워크다. AI가 작업을 마쳤다고 보고하는 것만으로 검증이 끝나지는 않으며, 별도의 증명 검사기인 린(Lean) 커널이 논리 오류를 걸러내고 대조 도구(comparator)가 원래 승인된 명세와 정확히 일치하는지 다시 확인한다.
연구진은 시그널의 공식 러스트(Rust) 암호 라이브러리인 ‘libsignal(v0.105.4)’과 포스트양자 래칫 모듈 ‘spqr(v1.6.0)’을 수정 없이 그대로 작은 명령줄 프로그램(libsignal-cli)에 연결해 깃허브(GitHub) 저장소에 검증 환경을 공개했다. 특히 설계 문서(추상 모델)만 검증하던 기존 방식에서 나아가, 실제 컴파일러(rustc)가 번역해 AArch64 프로세서에서 실행하는 기계 코드(ELF 바이너리)까지 증명 대상으로 삼았다. 설계도가 옳아도 컴파일된 실제 제품 코드에 메모리 처리 오류나 상태 저장 버그가 숨어 있을 수 있다는 간격을 좁힌 것이다.
에이전트 40~80개 규모가 병렬로 가동돼 만들어 낸 린 증명 코드는 약 650만 줄에 달하며, 이를 지탱하는 신뢰 명세와 AArch64 기계어 의미론 정의는 약 2만6000줄이다. 다만 650만 줄이라는 분량 자체가 안전 점수는 아니며 사람이 그 방대한 코드를 일일이 읽어야 하는 것도 아니다. 린 커널과 대조 장치가 논리 검사를 자동 처리하고 에이전트가 재검토할 영역을 전체 코드베이스의 1% 수준으로 좁혀 주기 때문에, 사람은 증명이 현실의 어떤 보안 위협에 답하는지 판단하는 데 집중할 수 있다.
“증명 코드를 작성하는 노동은 AI 에이전트가 맡고 논리 검증은 Lean 커널이 자동으로 처리하지만, 무엇을 증명할지 정하고 현실의 공격 가정을 검토하는 책임은 여전히 사람에게 남았다.”
옛 버그를 다시 넣은 이유
수학 풀이가 아무리 완벽해도 문제 조건을 너무 느슨하게 잡으면 소용없듯, 보안 증명에서도 명세의 엄격함이 관건이다. ‘정상적인 메시지만 처리한다’고만 적고 공격자가 보낸 비정상 패킷을 조건에서 빼버리면, 검사기를 통과하더라도 실제 방어 범위는 좁아진다. 증명의 논리 형식이 맞는지와 보호 목표가 충분한지는 전혀 다른 질문이기 때문이다.
연구진은 명세가 실제 오류를 구별하는지 확인하려고, 이미 수정된 libsignal 과거 버그 두 개를 격리된 코드에 다시 집어넣는 대조 실험을 진행했다. 새 취약점을 찾아냈다는 발표가 아니라, 수정 사항을 되돌린 실행 파일이 보안 조건을 어긴다는 반증(Disproof)을 린으로 확인해 검사 기준을 점검한 것이다. 연구진은 기술 논문에서 이 두 실험이 암호 함수를 이상적인 블랙박스로 가정해 공격을 추상화하는 ‘상징적 모델(Symbolic Model)’에서 수행됐으며, 실제 연산 시간과 공격 확률 상한을 따지는 ‘계산적 모델(Computational Model)’을 포함한 모든 분석 방식의 오류 탐지 능력을 입증한 것은 아니라고 적었다.
실험 두 번으로 명세가 완벽해지지는 않지만, 정상 코드에 합격증만 내놓는 것보다 검사의 신뢰도는 훨씬 분명해진다. 과거에 실제로 문제를 일으켰던 결함을 현재의 보안 조건이 놓치지 않고 걸러낸다는 점을 기계적으로 입증했기 때문이다.
암호 라이브러리 검증과 시그널 앱 전체 보안의 경계
이번에 검증한 대상은 시그널 앱 전체가 아니라 libsignal 0.105.4와 spqr 1.6.0을 연결해 AArch64 리눅스용으로 컴파일한 단일 스레드 명령줄 실행 파일이다. 논문에서도 연구진의 명령줄 프로그램(libsignal-cli)의 1대1 대화 초기화·송신·수신 동작을 다룬 결과일 뿐, 스마트폰에 설치된 시그널 앱 자체를 검증한 것은 아니라고 명확히 선을 그었다.
분석 조건에도 입력 메시지 길이 제한과 단일 프로세스 가정 등 구체적인 제약이 붙으며, 다중 기기 동기화 상태나 그룹 대화, x86-64 같은 다른 프로세서 아키텍처는 검증 범위에서 빠졌다. 또한 증명은 린 커널의 무결성뿐 아니라 프로세서·운영체제의 동작 모델(약 8000줄), 그리고 해시·서명 같은 하위 암호 기본 기능(Primitive)이 안전하다는 계약 가정에도 의존한다. 자물쇠의 핵심 잠금장치 성질을 검사한 결과를 집 전체의 방범 보증으로 확대 해석해서는 안 되는 이유다.
시그널 검증 공동 프로젝트 ‘시그널샷(SignalShot)’을 이끄는 Beneficial AI Foundation도 이번 성과를 높이 평가하면서도, 과도한 확대 해석인 ‘형식 세탁(Formal-washing)’을 경계했다. 재단은 x86-64 아키텍처와 익명 자격증명(μCMZ), SPQR의 포스트양자 복구 성질 등 여전히 검증해야 할 영역이 남아 있다고 설명했다. 가정이 있다고 해서 증명의 가치가 사라지는 것은 아니며, 어떤 조건에서 어느 보호가 성립하는지 경계를 투명하게 드러내야 후속 과제도 구체화할 수 있다.
증명 뒤에도 남는 사람의 일
연구진 다섯 명은 4주 동안 각자 워크스테이션에서 에이전트를 연속 가동하며 작업했고, 노력의 대부분을 증명 코드 작성이 아니라 명세 설계에 쏟았다고 밝혔다. AI가 650만 줄의 증명을 생성했다고 해서 사람의 역할이 사라진 것은 아니다. 실제로 에이전트가 스스로 작성한 명세는 사람이 읽고 감사하기 어렵다는 문제가 드러나, 연구진이 여러 차례 검토와 전면 재작성을 지시해야 했다.
또한 4주라는 기간은 달력상의 작업 기간일 뿐, 논문에 전체 연산량이나 토큰 사용량, 투입 비용은 공개되지 않아 다른 조직이 곧바로 도입 비용을 역산하기는 어렵다. 현재 일반 개발자나 보안 팀이 즉시 내려받아 실행할 수 있는 대상도 알파프루프 코드 에이전트 자체가 아니라 깃허브에 아파치 2.0 라이선스로 공개된 린 명세와 증명 검증 빌드(Lean 4.34.0·Rust 1.98.1·최대 34GiB 램 및 리눅스 Landlock 환경 요구)다.
Beneficial AI Foundation은 코드가 수시로 업데이트되는 실무 환경에서 검증 상태를 계속 유지하는 ‘지속 검증(Continuous Verification)’을 핵심 후속 과제로 꼽았다. 새 기능을 추가해 코드가 바뀔 때마다 기존 명세가 여전히 필요한 보호 조건을 담고 있는지, 바뀐 기계 코드가 그 조건을 다시 만족하는지를 사람과 검증 파이프라인이 함께 확인해야 하기 때문이다.