판단 AI 뛰어든 오픈AI… Jev와 다른 길을 골랐다

핵심 요약

1

기존 모델 활용:오픈AI는 판단 전용 모델을 새로 만드는 대신 기존 경량 추론 모델 GPT-6 루나에 판단 인터페이스를 결합한 디시전스 API를 10월 6일 공개 베타로 출시했다.

2

세 가지 판단:디시전스 API는 텍스트와 이미지를 입력받아 참·거짓, 선택지, 단계별 척도에 대한 확률과 결과값을 반환하며 판단 이유를 설명하는 문장은 생성하지 않는다.

3

가격과 지원 범위:디시전스 API의 입력 단가는 100만토큰당 0.1달러로 텍스트 전용인 Jev의 0.042달러보다 높지만, 이미지 입력을 지원하고 두 서비스 모두 출력 요금을 받지 않는다.

4

실전 검증 과제:오픈AI는 디시전스 API의 구체적인 지연 시간 측정 조건과 확률 보정 여부를 공개하지 않아 자동화 업무에 적용하기 전 자체 데이터로 검증할 필요가 있다.

5

플랫폼 기능 편입:AWS와 클라우드플레어도 판단 모델을 공개하면서 판단 AI의 경쟁은 독립형 API를 넘어 기존 플랫폼과 오픈소스 인프라로 확대되고 있다.

기사 목차 펼치기 / 접기

정해진 선택지 중 하나를 골라 확률을 매기는 ‘판단 AI’ 시장에 오픈AI(OpenAI)도 참전했다. 다만 오픈AI는 판단 전용 소형 모델을 새로 만들지 않았다. 기존의 경량 추론 모델인 GPT-6 루나(GPT-6 Luna)에 판단 전용 인터페이스를 씌워 창구로 개방했다.

오픈AI는 지난 9월 29일 데브데이 키노트에서 루나에게 정해진 선택지를 건네고 1초도 안 걸려 확률값을 산출하는 디시전스 API(Decisions API)를 전격 공개했다. 이어 10월 6일 공개 베타를 열었다. 스타트업 타입세이프AI(TypeSafe AI)가 판단 모델 Jev를 내놓은 지 불과 3주 만의 행보다.

같은 주 AWS와 클라우드플레어(Cloudflare)도 자체 판단 모델을 잇따라 공개했다. 판단 AI는 신생 스타트업이 따로 파는 독립형 상품에서 클라우드 플랫폼이 기본으로 제공하는 ‘내장 기능’으로 빠르게 이동하고 있다.

오픈AI 디시전스 API의 구조와 작동 원리

오픈AI는 데브데이 공식 발표에서 디시전스 API를 두고 “루나의 지능을 사용자가 정의한 질문과 미리 설정한 유한한 답안에 집중시키는 기술”이라고 설명했다. 개발자가 텍스트나 이미지로 맥락을 넘기고 질문을 던지면, 모델은 긴 문장을 생성하는 대신 엄격히 규격화된 형식의 확률과 결과값만을 즉시 반환한다.

서술형 시험을 OMR 카드 시험으로 바꾼 격이다.

공식 개발 가이드에 따르면 질문 유형은 세 가지다. 조건의 진위를 가리는 ‘참·거짓(predicate)’, 복수 보기 중 하나를 고르는 ‘선택(choice)’, 단계별 수준을 매기는 ‘척도(score)’다.

실무 관점에서 predicate는 시스템의 ‘O/X 판정 도장’이다. “제품에 균열이나 외관 파손이 존재하는가?”처럼 단일 조건을 묻고 참(True)에 해당하는 0.98의 확률값만 받아낸다. choice는 고객 문의 창구의 ‘자동 분류기’다. “결제·기술·배송·기타 중 어디에 해당하는가?”를 묻고 각 부서 라벨과 함께 확신도 분포를 산출한다. score는 장애 수준을 판정하는 ‘위험도 채점표’다. “장애 심각도가 단순 외관 문제(1점)·우회 가능(2점)·완전 차단(3점) 중 어디인가?”를 묻고 각 단계별 확률을 가중평균해 2.7점 같은 연속 수치로 도출한다.

score 반환값은 각 단계의 확률을 가중평균한 수치이므로 정수 단계 사이에 걸친 소수점 값으로 도출될 수 있다. 왜 그렇게 판단했는지 해설하는 설명 문장은 일체 돌아오지 않는다. 또한 이미지는 base64 형식으로 요청 본문에 직접 삽입해야 하며, 외부 웹 주소(URL) 참조 방식은 지원하지 않는다.

오픈AI는 용도에 따른 기능 경계도 명확히 그었다. 정해진 스키마에 맞춘 복잡한 JSON 데이터를 추출하려면 기존 리스폰시스 API의 구조화된 출력(Structured Outputs)을, 외부 도구 실행이 필요하면 함수 호출(function calling)을 권장한다. 디시전스 API가 맡는 영역은 오직 답안을 선택하는 판단 하나다. 지난 10월 6일 공개 베타로 전환된 디시전스 API는 수주 내 정식 출시될 예정이다.

에이전트 병목 해소… 판단 기능을 독립 분리한 배경

이번 데브데이의 중심은 단연 에이전트였다. 자율 업무를 상시 수행하는 에이전트인 닷츠(Dots)와 에이전트 API의 컴퓨터 조작 기능(CUA)이 같은 무대에 올랐다. 앞서 지난 9월 10일에는 에이전트 API 공개 베타와 실시간 음성 모델인 GPT-라이브 1(GPT-Live 1)이 공식 출시됐다.

오픈AI가 꼽은 디시전스 API의 핵심 용도는 콘텐츠 분류, 요청 라우팅, 그리고 에이전트의 다음 행동 분기다. 공식 가이드라인에서는 음성 대화형 라이브 API와 결합해 사용자 발화에서 수행할 작업을 실시간으로 분기하는 시나리오까지 안내하고 있다.

에이전트는 작업 하나를 끝내기까지 “다음에 무엇을 할 것인가”라는 선택을 수십 번 이상 반복한다. 들어온 문의를 환불팀으로 넘길지, 실패한 API를 재시도할지, 지금 화면의 확인 버튼을 눌러도 안전한지 끊임없이 갈림길에 선다. 이때마다 거대 언어 모델이 불필요한 서술 문장을 생성한다면 시스템은 느려지고 연산 비용은 폭증한다.

갈림길마다 여행기 한 편을 받아 읽는 꼴이다.

판단 모델 SemIf 개발자의 벤치마크에 따르면, RTX 3090 한 장에서 40억 파라미터 모델로 21개 판단을 처리했을 때 JSON 문장으로 생성하면 5.33초가 걸린 반면, 선택지 확률을 직접 읽어내는 방식은 1.02초에 불과했다. 오픈AI가 에이전트 도구군 확장에 발맞춰 판단 창구를 별도로 떼어낸 이유다.

발표 시점 역시 절묘하다. Jev가 공식 출시된 지 2주 만에 데브데이가 열렸다. 키노트를 실시간으로 지켜본 소프트웨어 개발자 사이먼 윌리슨은 “스텔스 모드를 벗어난 지 2주도 안 된 Jev에 맞선 직접적인 대응으로 보인다”고 평가했다. 다만 오픈AI는 공식 발표와 문서 어디에서도 Jev를 직접 언급하지 않았다.

왜 하필 루나인가… 초저가와 멀티모달의 결합

디시전스 API가 지원하는 엔진은 GPT-6 루나 하나다. 오픈AI는 선택 이유를 명시하지 않았지만, 루나의 하드웨어 및 비용 사양에서 해답이 명확히 드러난다.

루나는 지난 9월 22일 GPT-6 솔(GPT-6 Sol)과 함께 공개됐다. 오픈AI 모델 목록은 루나를 “집중된 대량 작업을 위한 가장 효율적인 모델”로 소개하며, 깃허브 블로그는 “GPT-6 제품군 중 가장 비용이 저렴한 선택지”라고 평가했다.

루나의 표준 입력 단가는 솔의 20분의 1, 아스트라의 100분의 1 수준이다. 판단 작업은 시스템 내부에서 매일 수만 번 이상 되풀이되는 인프라다. 단가가 곧 제품의 승패를 결정한다.

OX 퀴즈 채점에 교수를 부르지는 않는다.

그렇다고 루나의 성능이 떨어지는 것은 아니다. 오픈AI의 기술 소개에 따르면 루나는 최상위 모델인 GPT-6 아스트라와 유사한 방식으로 학습됐다. 모델 사양 문서에 적힌 추론 등급은 High, 응답 속도는 Fast이며 105만토큰에 달하는 대규모 문맥 창을 지원한다. 판단의 정확도를 지탱할 만큼 똑똑하고, 폭증하는 호출을 감당할 만큼 저렴한 최적의 교차점이다.

디시전스 API가 이미지 입력을 기본 지원하는 것도 루나 덕분이다. 루나는 텍스트와 비전을 동시에 처리하는 멀티모달 엔진이다. 텍스트 분류에 국한된 Jev와의 결정적 차이가 엔진 선정 단계에서 이미 결정된 셈이다.

가격표에서도 오픈AI의 전략이 명확히 드러난다. 공식 가이드라인에 따르면 디시전스 API의 입력 단가는 100만토큰당 0.1달러이며, 캐시와 출력에는 요금이 일체 부과되지 않는다. 루나의 일반 입력 단가와 완전히 같으며, 100만토큰당 0.5달러에 달하던 출력 청구서만 깨끗이 지워낸 구조다.

가격 정책 문서에 따르면 대규모 입력 및 지역 처리 할증은 적용된다. 루나 표준 모델 사양에 따르면 27만2000토큰 초과 시 단가가 2배가 되고, 특정 지역을 지정해 처리하면 10%가 가산된다. 다만 루나가 내부적으로 추론을 얼마나 수행할지 조절하는 강도 설정은 디시전스 API 문서에 공개되어 있지 않다.

디시전스 API vs Jev… 전용 엔진과 범용 창구의 격돌

겉모습은 매우 유사하다. Jev 역시 3대 원시 함수(Primitives)인 Noul(참·거짓), Choice(선택), Score(척도)를 제공한다. 오픈AI의 세 가지 인터페이스와 1:1로 정확히 대응한다. 두 서비스 모두 출력 요금을 받지 않으며, 여러 독립 질문을 단일 요청으로 묶어 전송할 수 있다.

결정적으로 갈리는 지점은 엔진의 본질이다.

타입세이프 블로그에 따르면 Jev는 문장 생성을 배제한 ‘시스템 원(System One)’ 전용 엔진으로 설계됐다. 반면 오픈AI는 방대한 문장 생성 능력을 갖춘 거대 범용 모델의 앞단에 판단 인터페이스를 덧씌웠다.

전용 계산기와, 계산기 앱만 띄운 노트북의 차이다.

오픈AI 진영에는 Jev가 갖추지 못한 세 가지 강력한 무기가 있다. 첫째는 루나 엔진 기반의 비전(이미지) 입력 지원이다. 둘째는 엔터프라이즈 보안성이다. 보안 및 규정 준수 가이드에 따르면 데이터 무보관(ZDR), 미국 의료정보보호법(HIPAA) 준수, 미국 및 유럽경제지역(EEA)·스위스 내 격리 처리를 보장한다. 셋째는 기존 오픈AI 계정의 에이전트 API, 라이브 API와 유기적으로 결합된다는 확장성이다.

반면 Jev 진영의 무기는 압도적인 가격과 투명성이다. Jev 공식 가격표에 따르면 입력 단가는 100만토큰당 0.042달러로 디시전스 API(0.1달러)의 절반 이하다. 단일 요청당 6만4000토큰, 초당 80회(RPS) 같은 구체적인 성능 한계값도 투명하게 공개했다. 반면 오픈AI 문서는 문맥 길이, 선택지 최대 개수, 호출 제한량이나 신뢰도(confidence)의 통계적 보정 여부를 공개하지 않고 있다.

API 규격과 버전 관리도 충돌한다. Jev는 특정 버전 고정 호출을 지원한다. 모델 업데이트로 확률 기준선이 흔들리는 현상을 막기 위해 독립 평가 기관도 버전 고정을 권고한다. 그러나 디시전스 API는 루나의 특정 체크포인트를 고정하는 옵션을 제공하지 않는다. 엔드포인트 역시 Jev와 호환 오픈소스 진영이 통일한 ‘/v1/systemone’ 대신 독자적인 ‘/v1/decisions’를 채택해 코드 수정 없이 이전하기 어렵다.

AWS와 클라우드플레어의 가세… 오픈소스와 엣지 확장

판단 모델 시장에 뛰어든 것은 오픈AI만이 아니다.

지난 10월 1일 클라우드플레어와 AWS가 같은 날 자체 판단 모델을 전격 공개했다. 클라우드플레어는 Clef 및 Clef-flash를 선보였다. 두 모델 모두 알리바바(Alibaba)의 오픈소스 모델 큐웬(Qwen)을 기반으로 미세조정됐으며, 아파치 2.0(Apache 2.0) 라이선스로 가중치를 공개했다. 자사 분산 서버리스 서비스인 워커스 AI에서도 100만토큰당 0.24달러에 제공한다. 중앙값 기준 응답 시간은 Clef 209.3밀리초, Clef-flash 38.8밀리초에 달한다.

클라우드플레어는 사내 보안 침해 대응 팀에서 이미 Clef를 실전 투입하고 있다고 밝혔다. 악성 웹사이트를 렌더링하고 분류하는 데 Clef는 2.2초가 걸린 반면, 고성능 범용 LLM은 4.7초가 소요됐다. 클라우드플레어 공식 블로그 역시 텍스트 분류에만 머물러 있는 Jev를 겨냥해 멀티모달 이미지 판단 능력을 전면에 내세웠다.

AWS 진영에서는 스트랜즈 랩스(Strands Labs)가 ‘스트랜즈 디사이더 2B(Strands Decider 2B)’를 내놨다. 스트랜즈 랩스는 AWS의 오픈소스 에이전트 프레임워크인 스트랜즈 에이전츠 산하 연구팀이다. 큐웬 3.5-2B를 기반으로 선택지 출력 헤드를 결합한 초경량 모델로, 아파치 2.0으로 공개되어 RTX 3090 한 장에서 질문당 중앙값 115밀리초 만에 응답한다. 외부 클라우드 통신 없이 로컬 기기에서 완전히 자립 구동된다. 테크 매체 실리콘앵글은 AWS가 Jev의 병렬 출력 구조가 초래하는 복잡한 추론 병목을 해결했다고 강조했다고 전했다.

두 기업 모두 Jev를 직접적인 비교군으로 삼았으며, 예·아니오 판정의 명칭도 Jev의 ‘Noul’을 그대로 계승했다. 오직 오픈AI만이 독자적인 명칭과 인터페이스를 고수하고 있다.

판단 AI의 주도권… 단가 격차와 플랫폼 록인의 승부

그렇다면 오픈AI가 판단 AI 시장의 승기를 굳힌 것일까? 아직 단정하기는 이르다.

디시전스 API는 현재 공개 베타 단계다. 오픈AI가 주장하는 ‘기존 API 대비 10배 빠른 속도’는 자체 리스폰시스 API와 견준 수치일 뿐이며, 구체적인 지연 시간 벤치마크나 하드웨어 측정 조건은 제시되지 않았다.

확률값의 신뢰도 역시 실전 검증이 필요하다. 신뢰도 95% 이상은 자동 승인하고 그 이하는 검수자에게 넘기는 업무 자동화 파이프라인에서는 모델이 산출하는 확률과 실제 정확도가 일치해야 한다. 오픈AI 문서는 이 통계적 보정(Calibration)에 대해 침묵하고 있다.

물론 Jev 역시 완벽한 것은 아니다. 독립 평가 기관 분석에 따르면 Jev는 다지선다와 점수 평가에서는 자신의 답을 지나치게 확신(Overconfident)하고, 예·아니오 질문에서는 오히려 지나치게 소극적(Underconfident)인 경향을 보였다. 기업 입장에서는 어느 모델을 쓰든 자체 데이터를 통한 사전 검증이 불가피하다.

단가와 세부 사양 면에서는 여전히 Jev가 앞서 있으며, 구글(Google)과 앤트로픽(Anthropic) 같은 대형 파운데이션 모델 기업들은 아직 판단 전용 API를 선보이지 않았다.

그럼에도 오픈AI가 쥐고 있는 카드는 매우 위협적이다. 건당 1000토큰 규모의 판단 요청을 100만 번 실행할 때 드는 비용은 Jev가 42달러, 디시전스 API가 100달러다. 비율로는 2.4배 차이지만 절대 금액 격차는 58달러에 불과하다. 이미 오픈AI와 엔터프라이즈 데이터 계약을 맺고 통합 청구서를 받아보는 기업이라면, 새로운 스타트업을 공급사로 추가하는 데 따르는 보안 심사와 법적 검토 비용이 이 단가 차이보다 훨씬 클 수밖에 없다.

“조금 비싸더라도 사무실 1층 카페에서 커피를 마시는 이유와 같다. 결제선과 보안 검토를 이미 끝낸 거대 플랫폼의 편의성은 단가 차이를 단숨에 상쇄한다.”

부품이 된 판단 AI… 독립 솔루션의 생존 방정식

지난 10월 4일 Jev 오픈소스 복제 러시에서도 확인됐듯, 판단 AI는 더 이상 독립 솔루션이 아닌 거대 인프라의 기본 ‘부품’으로 자리 잡고 있다. 이틀 뒤 오픈AI는 이 부품을 자사 플랫폼에 기본 옵션으로 장착했다. Jev가 맞서야 할 경쟁 구도 역시 완전히 재편됐다. 깃허브에서 무료로 내려받는 오픈소스 복제판을 넘어, 고객사가 이미 사용 중인 기존 계정에 기본으로 딸려 나오는 빌트인 기능과 싸워야 하는 처지가 됐다.

외신 인터뷰에서 디오고 알메이다(Diogo Almeida) 타입세이프 공동창업자 겸 CEO는 자신들을 ‘모델 랩이 아닌 데이터 랩’이라 정의했다. 거대 플랫폼의 번들링 공세 앞에서 독립 모델의 진짜 생존 시험대가 열렸다.