[Deep Audio #04] 아스트라의 AGI 논쟁부터 클로드 제약의 역설까지…최상위 AI 모델 통제학

아스트라의 AGI 논쟁부터 클로드 제약의 역설까지…최상위 AI 모델 통제학

호스트: 아인(Ain) & 젠(Zen)  |  기반 기사: 박근모 기자 심층 리포트 3편  |  제작: AI Insight Journal

AI Insight Journal에 오신 걸 환영합니다. 오늘은 AI가 직접 마우스를 잡고, 스스로 등급을 매기며, 자기 규칙집을 들여다보는 이야기입니다.

박근모 기자가 이번 주 다룬 내용은 크게 세 갈래입니다. GPT-6 아스트라 공개와 AGI 논쟁, 앤트로픽(Anthropic) 모델 티어의 역설적 제약 구조, 그리고 클로드 시스템 프롬프트 분석입니다.

벤치마크 숫자 하나가 측정 환경에 따라 62.7%에서 99.9%로 뛰는 세계, 먼저 거기서 시작하겠습니다.

오픈AI(OpenAI)가 공개한 GPT-6 아스트라는 단순히 더 똑똑한 챗봇이 아닙니다. 웹 브라우저와 스프레드시트, 로컬 소프트웨어를 직접 조작하는 에이전트입니다.

공식 발표 자료가 정확히 그 지점을 짚습니다. 아스트라는 "웹사이트를 직접 구축해 테스트를 수행하고, 소프트웨어 패키지를 설치해 버그를 추적하며, 복잡한 과학 연산 데이터를 가공하는 고난도 작업까지 시연했다"고 명시돼 있습니다.

실제 화면 조작 정밀도를 측정하는 스크린스팟-프로(ScreenSpot-Pro)에서 아스트라는 92.7%를 기록해 전작 솔의 76.9%를 앞섰고, OS 환경 복합 과제 벤치마크인 OS월드(OSWorld) 2.0에서도 72.6% 대 65.7%로 앞섰습니다. 과제당 소요 시간도 솔의 75분에서 40분대로 줄었습니다.

그런데 가장 화제가 된 숫자는 ARC-AGI-3의 99.9%였는데, 이게 단순하지 않습니다.

평가 기관인 아크 프라이즈(ARC Prize)가 자체 측정한 결과, 표준 하네스에서 최대 추론 강도로 돌렸을 때 아스트라의 정답률은 62.7%였습니다. 오픈AI가 제공한 맞춤형 하네스에 추론 강도를 높음으로 설정했을 때 99.9%가 나왔습니다. 측정 환경이 달랐고, 추론 강도 설정도 달랐습니다.

아크 프라이즈는 어느 쪽이 진실이라고 단정하지 않았습니다. 기본 하네스는 모델 간 비교를 위한 통제 기준이고, 제조사 하네스는 자체 도구 생태계를 포함한 잠재력을 보는 지표라는 설명입니다.

비용 차이도 공시됐습니다. 62.7% 실행에는 2만6098달러, 99.9% 실행에는 1만8817달러의 API 비용이 소모됐습니다. 아크 프라이즈는 ARC-AGI-3 포화가 AGI 도달의 증거가 될 수 없다고 명확히 선을 그었습니다.

독립 평가 기관인 아티피셜 애널리시스(Artificial Analysis)의 인텔리전스 지수에서는 아스트라가 전작 솔과 동률인 61점을 기록했고, 클로드 페이블 5.1과 메타 뮤즈 1.3보다 낮게 나왔습니다.

반면 토큰 효율은 눈에 띄게 향상됐습니다. 동일한 코딩 과제에서 아스트라가 소모한 출력 토큰은 솔의 3분의 1 수준이었습니다. 다만 API 기본 단가가 솔 대비 2.5배로 책정돼, 일반 추론 과제에서는 총비용이 솔보다 약 75% 높게 청구됩니다.

안전 등급도 전례가 없습니다. 오픈AI 자체 준비 프레임워크에서 사이버보안 영역 최고 단계인 크리티컬에 처음으로 도달했고, 제어되지 않는 환경에서 익스플로잇벤치(ExploitBench) 100%를 기록했습니다. 기업이 자사 제품에 최고 위험 딱지를 직접 붙인 셈입니다.

그리고 그레그 브록먼 오픈AI 사장이 발표 직전 브리핑에서 "이제 우리가 AGI의 시대에 공식 진입했다고 체감하는 것이 전혀 무리가 아니다"라고 발언했습니다. 악시오스(Axios)는 이것이 회사의 공식 기술 판정이 아닌 개인적 평가였다고 명시했고, 학계와 정계 모두 냉담하게 반응했습니다.

벤치마크 점수와 AGI 선언 사이의 간극이 이 정도라면, 다음 질문은 자연스럽게 모델 제약 설계로 이어집니다.

앤트로픽의 티어 구조는 표면상 성능 사다리처럼 보이지만 실제로는 다른 원리로 작동합니다. 클로드 페이블 5.1과 클로드 오푸스 5를 비교하면, 더 유능한 모델이 더 좁은 재량을 갖습니다.

오푸스 5 시스템 카드 2.4.2절에 이례적인 대목이 있습니다. 앤트로픽은 "오푸스 5가 최상위 모델인 페이블 5보다 전반적으로 유능하지 않다"고 직접 인정했습니다.

이 고백의 이유가 같은 문서 3.4절에 나옵니다. 페이블에서 차단되던 소스코드 취약점 탐색 기능을 오푸스 5에서는 모든 사용자에게 전면 허용했다는 내용입니다. 위험 등급이 낮아야 빗장을 열 수 있었기 때문입니다.

그런데 두 모델의 안전 규칙 자체는 동일합니다. 깃허브(GitHub) 저장소 CL4R1T4S에 공개된 시스템 프롬프트 추출본을 보면, 아동 안전 관련 핵심 조항 6개가 문구 단위까지 일치합니다.

유해 요청 전반에 대한 무해 응답률도 소수점 수준 차이입니다. 오푸스 5 시스템 카드 4.1.1절 기준으로 오푸스 5는 API에서 96.34%, 페이블 5는 96.94%였습니다. 어떤 요청을 막아야 하는지에 대한 판단 기준은 같습니다.

차이는 모델 앞단에 있는 실시간 안전 분류기에서 납니다. 페이블에 탑재된 분류기가 훨씬 높은 문턱으로 설정돼 있어서, 정상 질의까지 차단한 뒤 오푸스로 넘기는 구조입니다.

이 폴백 라우팅은 오푸스 5 프롬프트 추출본에 직접 설명돼 있습니다. "이 정도로 유능한 모델을 배포하는 데는 막대한 위험이 따른다. 안전장치가 없다면 사이버보안과 같은 영역에서 페이블 5의 역량이 심각한 피해로 악용될 수 있다"는 내용입니다.

비대칭 구조가 흥미롭습니다. 요청을 넘기는 상위 모델은 자신이 넘긴다는 사실을 모르고, 넘겨받는 하위 모델만 상황을 사전에 안내받습니다.

8월 생물학 분류기 개편으로 폴백 빈도가 약 85% 줄었지만, 완화 효과는 고르지 않았습니다. 일반 웹 인터페이스에서는 67% 감소했지만, 전문 개발자가 쓰는 API 환경에서는 단 7% 감소에 그쳤습니다.

가장 자주 막히는 개발자들이 가장 더디게 혜택을 받은 셈입니다. 이 티어 구조의 근거가 실제 프롬프트 문서에 어떻게 담겨 있는지, 다음 주제가 바로 그 해부입니다.

클로드 페이블 5.1 시스템 프롬프트라고 명시된 문서가 깃허브 저장소 CL4R1T4S에 공개됐습니다. 앤트로픽이 진위를 공식 인정한 자료는 아닙니다.

그런데 외부 검증이 가능한 항목들이 공식 문서와 맞아떨어집니다. 추출본에 기재된 지식 컷오프, 모델 식별자, 수출통제 시행 및 복구 일자를 공식 기록과 대조하면 7개 핵심 항목 중 6개가 일치합니다.

문서에는 38개 절이 있고, 그중 17개가 메모리 관리에 집중돼 있습니다. 전체의 45%입니다. 이용자 정보를 profile.md, topics, areas, people, preferences.md의 5대 경로로 분할 관리하는 구조입니다.

저장 금지 목록이 3단계로 나뉩니다. 인종·종교·성적 지향 같은 보호 속성, 정치 성향·재정 정보 같은 민감 정보, 그리고 정부 신분증 번호·범죄 이력 같은 절대 금지 항목입니다. 완곡한 대체어로 바꿔 저장하는 우회로도 막혀 있습니다.

거절 규정의 최우선 순위는 아동 안전입니다. 추출본은 "유해한 요청을 안전한 형태로 임의 재해석하려는 내부 추론이 감지될 경우, 이를 즉각적인 거절 신호로 판단하라"고 규정합니다. 모델 자신의 우회 논리를 스스로 차단하는 장치입니다.

페이블 5.1에서 새롭게 추가된 조항도 있습니다. 도구 연동을 완료한 뒤 핵심 결과를 1~2문장으로 반드시 요약해야 하며, "완료했습니다" 한 마디로 끝내는 건 온전한 응답으로 인정되지 않습니다.

이 문서가 앞선 티어 구조 분석과 맞닿는 지점이 있습니다. 규범이 가장 방대하게 구축된 영역일수록, 기업이 가장 중대한 리스크로 인식한다는 점입니다.

이번 주의 공통 질문은 결국 하나입니다. 모델이 더 유능해질수록 통제는 어떻게 설계되어야 하는가.

아스트라의 벤치마크 논쟁, 앤트로픽의 라우팅 구조, 프롬프트 문서의 메모리 규정이 모두 그 질문에 대한 각자의 답입니다. 다음 에피소드에서 이어가겠습니다.