핵심 요약
AI 요약
기사 목차 펼치기 / 접기
본지는 10월 14일 판단 AI 3종 비교 분석을 통해 제품 사진으로 파손 여부를 가려야 한다면 디시전스 API(Decisions API)가 3사 중 유일한 선택지라고 짚었다.
같은 날 타입세이프AI(TypeSafe AI)가 이미지를 받는 Jev 1.14를 내놓았다.
이제 사진을 보고 판단하는 AI는 둘이다.
본지는 같은 사진과 같은 질문으로 Jev 1.14와 오픈AI 디시전스 API를 나란히 시험했다. 어느 쪽에 어떤 일을 맡길지 고르는 데 필요한 차이를 정리했다.
10월 14일 이후 무엇이 바뀌었나
가장 크게 바뀐 칸은 입력 형식이다. 10월 14일 비교표에서 텍스트 전용이었던 Jev 칸에 이미지가 추가됐다. Jev는 실험 헤더를 붙이면 1.13과 1.14 모두 이미지를 받고, 사진 속 위치를 상자로 돌려주는 Box 질문은 1.14에만 생겼다. 1부 실측 분석에서 다룬 내용이다.
| 항목 | Jev (1.14 업데이트) | 디시전스 API (오픈AI) | 디시전-1 (마이크로소프트) |
|---|---|---|---|
| 이미지 입력 | 텍스트 전용 (실험 헤더 시 이미지) | 지원 (API 전체 베타) | 텍스트 전용, 변화 없음 |
| 위치(좌표) 답 | 미지원 (1.14 실험 Box 좌표 지원) | 미지원 | 미지원 |
| 한 번에 읽는 양 | 기본 6만4000토큰 (헤더 시 약 26만2000토큰) | 문서 미공개, 본지 실측 72만7000토큰 수용 | 오픈라우터 기준 3만2768토큰 |
| 입력 단가(100만토큰) | 0.042달러 (이미지도 동일 단가) | 0.1달러 | 0.042달러 |
| 배포 상태 | 1.14는 미리보기, 새 기능은 실험 | “public beta” 유지 | 10월 9일 이후 문서 수정 없음 |
오픈AI 쪽 변화는 작다. 디시전스 API 개발 가이드는 19일에도 “공개 베타이며 몇 주 안에 정식 출시를 예상한다”(The Decisions API is in public betand we expect to GA in the coming weeks)는 문구를 그대로 달고 있다. 변경 이력에 새로 붙은 것은 15일 GPT-라이브(GPT-Live) 연동 정도다. 마이크로소프트 디시전-1(Microsoft-Decision-1)은 공식 문서가 10월 9일 이후 바뀌지 않았고 여전히 텍스트만 받는다. 본지에 애저(Azure) 계정이 없어 이번 시험에서는 디시전-1을 빼고 문서로만 견줬다.
Jev와 디시전스 API, 사진 판단은 어디서 갈리나
시험 재료는 1부와 같다. 공개 데이터셋 옥스퍼드-IIIT 펫의 사진 100장을 두 서비스에 같은 보기 37개(개·고양이 품종)와 함께 보냈다. 맞힌 수는 84장으로 같았고, 둘 다 맞힌 사진이 77장, 한쪽만 맞힌 사진이 7장씩이었다. 개인지 고양이인지는 둘 다 100장을 다 맞혔다.
갈린 곳은 틀린 답에 붙인 확신도(confidence)다. 판단 AI의 쓸모는 “확신도 0.9 이상이면 자동 처리” 같은 규칙을 코드에 거는 데 있어서, 틀린 답에 높은 확신도가 붙으면 그 규칙이 그대로 뚫린다. 디시전스 API는 틀린 16장 중 5장에 0.94~0.97을 붙였고, Jev는 16장 중 1장(0.97)이었다. 자신만만하게 틀린 답이 디시전스 쪽에 더 많았다.
그래서 0.9를 문턱으로 잡으면 결과가 달라진다. Jev는 63장을 자동 처리하고 그중 1장이 오답이었다. 디시전스 API는 76장을 처리했지만 5장을 틀렸다. 더 많이 맡긴 만큼 오답도 늘었다. 응답은 Jev가 중앙값 0.19초, 디시전스 API가 0.27초였다.
위치를 묻는 방법
디시전스 API에는 Box 같은 좌표 답이 없다. 공식 API 명세가 정의한 응답 유형은 예·아니오와 보기 고르기, 등급, 답변 거부 네 가지뿐이다. 위치를 알고 싶으면 사진을 칸으로 나눠 “몇 번째 칸인가”를 보기로 물어야 한다.
본지는 1부의 고양이 찾기 이미지 45장으로 이 우회로를 시험했다. 사진을 가로세로 3칸씩 9칸으로 나누고양이 한가운데가 어느 칸에 있는지 두 서비스에 물었다. 고양이를 크게 붙인 30장에서는 Jev 24장, 디시전스 API 22장을 맞혔다. 작게 붙인 15장에서는 13장 대 9장으로 벌어졌다. 같은 이미지에 Jev의 Box를 쓰면 상자 한가운데가 45장 모두 고양이 위에 떨어졌다.
칸 고르기는 번지수만 알려주고, Box는 지도에 핀을 꽂아 준다.
다만 Box는 아직 실험 기능이고, 대상이 없어도 상자를 그린다는 약점은 1부에서 본 그대로다.
사진 한 장 값은 누가 싼가
100만토큰당 단가는 Jev가 디시전스 API보다 2.4배 싸다. 0.042달러 대 0.1달러다. 사진에서는 이 계산이 뒤집힌다. 같은 사진을 두고 Jev가 토큰을 약 2.7배 더 세기 때문이다.
본지가 크기를 바꿔 가며 재 보니 Jev는 대략 385픽셀당 1토큰, 디시전스 API는 약 1030픽셀당 1토큰이었다. 1024×768 사진 한 장의 값은 Jev 약 0.000087달러, 디시전스 API 약 0.000077달러로 Jev가 14%쯤 비싸다. 디시전스 API는 화질 옵션(detail)을 low로 두면 사진 크기와 관계없이 190토큰 안팎으로 묶여, 한 장에 약 0.000019달러가 된다. 이 경우 Jev가 4.6배 비싸다.
요청 전체로 보면 또 다르다. 품종 보기 37개를 함께 보낸 시험에서는 질문 문구 몫이 커서 요청 하나가 Jev 1521토큰(약 0.000064달러), 디시전스 API 919토큰(약 0.000092달러)이었다. 보기가 많고 사진이 작으면 Jev가, 사진이 크고 질문이 짧으면 디시전스 API가 싸다.
받는 사진의 폭도 다르다. Jev는 가로·세로 280~1568픽셀을 벗어나면 거부하지만, 디시전스 API는 본지가 보낸 200×150 사진과 2048×1536 사진을 모두 받았다.
글자 판단과 긴 글에서는
글자 판단에서는 Jev가 앞섰다. 1부의 다국어 시험(음성비서 명령 200문장 × 7개 언어, 보기 59개)을 디시전스 API에 그대로 냈더니 1400문장 중 1106문장(79%)을 맞혔다. Jev 1.14는 1162문장(83%)이었다. 한쪽만 맞힌 문장은 Jev 94개, 디시전스 API 38개였다. 언어별로는 아랍어(78% 대 75.5%)에서만 디시전스 API가 높았다.
디시전스 API는 22문장에 답하지 않고 ‘거부’를 돌려줬다. 위험한 요청이 아니라 “일어나자마자 밥 먹었어”(i had food as soon as i got up)처럼 의도가 애매한 문장이었다. “소비자 상담에 불만 넣는 걸 도와줘”(help complaint to consumer service)는 일곱 언어 모두에서 거부됐다.
디시전스 API의 거부는 사실상 ‘판단 보류’ 버튼으로도 쓰인다.
확신도의 질은 이 시험에서 반대로 나왔다. 0.9 이상을 붙이고도 틀린 답이 Jev는 틀린 238개 중 50개(21%), 디시전스 API는 272개 중 35개(13%)였다. 사진에서와 달리 글자 판단에서는 Jev 쪽 과신이 더 잦았다.
긴 글은 한도와 속도에서 갈렸다. Jev는 실험 헤더를 켜도 약 26만2000토큰이 상한선이다. 디시전스 API는 문서에 한도를 적지 않았는데, 본지 실측에서 72만7000토큰짜리 요청까지 받았고 그보다 훨씬 긴 요청은 “Decision input exceeds the 토큰(단위는 100만토큰·105만토큰처럼 수치와 붙여 씀) limit”라며 거부했다. 1부의 ‘환불 요청 한 줄 찾기’ 기록을 그대로 보냈더니 가장 긴 기록에서 Jev는 4.4초, 디시전스 API는 0.9~2.4초 걸렸다.
찾을 문장을 바꿔 쓰고 미끼를 섞은 어려운 시험(1부와 같은 기록)에서는 두 서비스 모두 길이마다 10건 중 7~9건을 맞혔다. 틀리는 모양은 길이마다 달랐다. 가장 긴 기록에서 디시전스 API는 환불 요청이 없는데 0.72~0.98로 “있다”고 답했고, Jev의 오답은 0.33~0.36으로 가운데에 머물렀다. 6만토큰 기록에서는 반대로 Jev가 없는 요청에 0.93을 두 번 붙였다. 길이마다 10건씩만 잰 결과라 어느 쪽이 더 믿을 만하다고 단정할 근거는 못 된다.
문서와 실제가 다른 곳
두 회사 모두 문서와 실제 동작이 어긋나는 곳이 있었다. 디시전스 API 개발 가이드는 이미지를 “요청 안에 넣은 base64 데이터 URL”(inline base64 data URLs)로만 받는다고 적었다. 하지만 본지가 깃허브(GitHub)에 올라 있는 공개 이미지 주소를 그대로 보냈더니 정상 답이 돌아왔다. 오픈AI 파이썬 SDK 설명에는 주소 입력과 요청당 128장 한도가 적혀 있어, 가이드보다 SDK가 실제 동작에 가깝다.
Jev는 이미지 문서가 1.13과 1.14 모두 이미지를 받는다고 적었지만 모델 사양 문서의 입력 설명에는 여전히 텍스트만 있다. 디시전-1의 3만2768토큰 한도는 마이크로소프트 문서가 아니라 오픈라우터(OpenRouter) 목록에만 나온다.
세 회사 모두 판단 AI 문서를 출시 속도만큼 빨리 고치지 못하고 있다.
작업 성격별 추천
정확도로는 고르기 어렵다. 사진 100장에서 둘은 84장으로 같았고, 확신도를 믿을 만한 쪽은 과제마다 뒤집혔다. 고르는 기준은 일의 모양이다.
확신도 문턱으로 사진을 자동 처리하는 일이라면 이번 품종 시험에서 문턱을 덜 뚫린 쪽은 Jev였다. 다만 이미지 기능이 실험 단계라 버전 번호를 고정하고 써야 한다. 사진이 많고 화질을 낮춰도 되는 일이라면 디시전스 API를 low 화질로 쓰는 쪽이 한 장 값이 가장 싸다.
사진 속 위치가 필요하면 선택지가 하나다. 좌표를 주는 판단 AI는 Jev 1.14뿐이고, 대상이 있는지는 예·아니오 질문으로 따로 확인해야 한다. 26만토큰이 넘는 긴 문서를 한 번에 판단하는 일은 디시전스 API만 받는다. 글자만 판단하고 이미 애저를 쓰는 조직이라면 디시전-1이 Jev와 같은 값, 같은 질문 형식을 쓴다. 이번 업데이트로 디시전-1이 달라진 것은 없다.
세 제품 모두 이 기능들을 실서비스용으로 보증하지 않는다. Jev는 기능마다 실험 딱지를 붙였고, 디시전스 API는 제품 전체가 아직 베타다. 문턱을 어디에 둘지는 어느 회사의 문서도 대신 정해 주지 않는다.
본지 실측에서 같은 사진, 같은 정답률 아래 문턱 하나가 오답 1장과 5장을 갈랐다.
