오픈AI(OpenAI)가 연말까지 새 모델 1~2종을 출시할 가능성이 있지만, 차기 주력 모델은 안전성 조정 작업이 더 필요한 것으로 전해졌다. IT 전문매체 더디코더는 10월 15일 디 인포메이션(The Information)의 보도를 인용해 이같이 전했다.
연말 출시 모델과 주력 모델은 별개일 수도
프로젝트 관계자들을 인용한 보도에 따르면 오픈AI는 연말까지 새 모델 한두 종을 내놓을 것으로 예상되지만, 현재 개발 중인 ‘대규모 업그레이드 모델’이 여기에 포함될지는 불분명하다. 차기 주력 모델은 연구진과 고객이 기대하는 목표에 맞도록 조정하는 작업이 남아 있고, 출시 전 시험 체계도 보강해야 한다. 경영진이 안전성 평가에 만족한 뒤에도 출시 절차가 이어진다.
도널드 트럼프 대통령의 첨단 AI 평가 관련 행정명령에 따라 오픈AI는 새 모델을 외부 협력사에 제공하기 최대 30일 전 미국 정부에 먼저 접근 권한을 주기로 한 것으로 보도됐다. 일반에 공개되기 전에는 외부 협력사에 제공되기 전보다 더 일찍 정부에 접근 권한을 주기로 했다. 따라서 연말 출시 전망과 차기 주력 모델의 공개 시점은 같은 문제로 볼 수 없으며, 구체적인 일정은 제시되지 않았다.
순환형 트랜스포머, 성능과 안전 감시의 과제
새 주력 모델에는 아스트라(Astra)에도 쓰이는 순환형 트랜스포머 기법이 적용된 것으로 전해졌다. 오픈AI는 이 방식을 실제 서비스에서 ‘리커런트 뎁스(Recurrent Depth)’라고 부른다. 일반적인 트랜스포머가 다음 단어를 만들 때 토큰을 각 층에 한 차례 통과시키는 것과 달리, 이 방식은 같은 층을 여러 번 돌게 한다. 수학·코딩 성능을 높이고 작은 모델로도 더 높은 성능을 낼 수 있어 비용을 낮추는 효과가 있다는 설명이다.
다만 반복 처리 과정에서 모델의 일부 추론이 사람이 읽을 수 있는 문장이 아니라 내부 수치 표현에 담길 수 있다. 연구자가 모델의 사고사슬(CoT)을 살펴 위험한 행동을 찾는 안전 감시가 어려워지는 이유다. 보도에 따르면 오픈AI는 사고사슬을 읽을 수 있도록 아스트라의 반복 횟수를 의도적으로 제한했다. 오픈AI 수석과학자 야쿠프 파초키(Jakub Pachocki)도 사고사슬 감시가 취약해지고 부정적인 방향으로 가고 있다고 인정하며, 업계가 읽을 수 있는 추론이 없는 모델로 경쟁하는 흐름을 경고했다.
안전 연구에 컴퓨팅 자원 투입
허깅페이스(Hugging Face) 관련 사고 이후 오픈AI는 전체 컴퓨팅 자원의 약 10%를 정렬과 안전 연구에 돌린 것으로 전해졌다. 디 인포메이션은 익명의 관계자를 인용해 이 규모가 데이터센터 용량 수백 메가와트에 해당한다고 보도했다. 다만 사고 전 안전 연구에 배정된 비중이나 현재 자원 배분은 알려지지 않았다. 시장 가격으로 임대할 경우 전환된 컴퓨팅 자원의 비용은 연간 수십억달러에 이를 수 있다는 추산도 나왔다.
기술 공개를 둘러싼 사례도 보도에 담겼다. 오픈AI의 주요 투자자이자 지식재산에 접근할 수 있는 마이크로소프트(Microsoft)는 이달 초 출시된 아스트라의 저가형 대안 GPT-6.1 솔(GPT-6.1 Sol)에 관한 기술 설명을 게시했다가 일부 내용을 삭제했다. 삭제된 부분은 솔이 ‘추론 반복’을 사용하며, GPT-6 솔과 같은 기본 모델 가중치로 세 차례가 아닌 두 차례 추론을 수행한다고 설명했다. 사정을 아는 관계자는 해당 내용이 오픈AI가 마이크로소프트에 비공개로 전달한 정보와 일치한다고 확인했다. 출시될 모델의 구성과 시점은 아직 확정되지 않은 상태다.