핵심 요약
AI 요약
기사 목차 펼치기 / 접기
타입세이프AI(TypeSafe AI)가 10월 14일 Jev 1.14를 내놓으며 출시 블로그에 뜻밖의 고백을 적었다.
“깜짝 소식: 여러분이 알고 아껴 온 Jev(jev-1.13.0)는 처음부터 멀티모달이었다!”
“Surprise: the Jev you all know and love (
jev-1.13.0) was multimodal all along!”
지금까지 쓰던 모델이 원래 이미지를 볼 줄 알았다면, 1.14에서 새로 생긴 것은 무엇일까.
본지가 Jev API를 4100여번 직접 호출해 확인한 답은 위치다. 사진 속 물체가 어디 있는지 상자 좌표로 돌려주는 기능이 1.14에만 붙었다. 그리고 회사는 이미지와 위치, 긴 문맥 세 기능 모두 아직 실서비스에 쓰지 말라고 했다.
Jev 1.14에서 무엇이 바뀌었나
잠깐, Jev는 뭘까. 글을 만들지 않고 판단만 돌려주는 AI로, 질문과 보기를 주면 보기마다 확률을 낸다. 문의 메일이 환불 요청인지, 어느 부서로 보낼지를 문장 대신 숫자로 답하는 식이다. 서술형 답안 대신 OMR 칸만 칠하는 수험생에 가깝다.
1.14에서 달라진 것은 셋이다. 이미지를 보여 주고 물을 수 있고, 사진에서 대상의 위치를 상자로 받는 Box 질문이 생겼고, 한 번에 읽는 글의 양도 늘릴 수 있다. 세 기능 모두 기본으로는 꺼져 있다. 요청 헤더에 데인저 존(Danger Zone) 표시를 붙여야 켜지는 구조다. 공사장 입구에 붙은 ‘안전모 착용’ 표지와 같은 장치다.
1.14는 아직 미리보기 단계다. 미리보기 별칭 jev-preview는 1.14를 가리키지만 기본 별칭 jev-latest는 여전히 1.13이고, 본지가 19일 두 별칭을 호출해 응답에 찍힌 모델 이름으로 확인했다. 블로그는 공식 안내를 통해 일주일 뒤 기본 별칭을 1.14로 옮기겠다고 예고했고, 1.13 폐기는 60일 전, 1.14 폐기는 30일 전에 알리겠다고 했다.
공식 가격 정책은 그대로다. 입력 100만토큰당 0.042달러(약 56원)를 받고 출력에는 돈을 받지 않는다.
이미지는 원래 볼 수 있었다
본지가 빨간 사각형을 그린 이미지를 1.13에 헤더와 함께 보냈더니 “빨간 사각형이 있다”에 0.99를 답했다. 헤더를 빼자 요청이 거부됐고, 돌아온 오류 문구는 “Images are experimental”로 시작했다. 기능은 처음부터 있었고 막혀 있다가 이번에 열린 것이다. 창고에 넣어 두었던 물건을 이제야 진열대에 올린 모양새다.
공식 문서는 아직 한목소리가 아니다. 공식 이미지 문서는 “Jev 1.13과 1.14 모두 이미지를 받는다”(Jev 1.13 and Jev 1.14 both accept images)고 적었다. 하지만 모델 사양 문서의 입력 설명에는 텍스트만 있고 이미지라는 말이 없다.
크기 규정은 깐깐하다. 가로와 세로가 각각 280~1568픽셀이어야 하고, 범위를 벗어난 이미지는 줄여 주지 않고 거부한다. 공식 이미지 규정에 못 박힌 조건이다. 본지가 공개 데이터셋 옥스퍼드-IIIT 펫 테스트셋에서 사진 130장을 무작위로 뽑았더니 19장(14.6%)이 짧은 변 280픽셀에 못 미쳐 이 기준에 걸렸다.
남은 100장으로 개와 고양이 37개 품종을 맞히게 했더니 1.13이 86장, 1.14가 84장을 맞혔다. 두 장 차이는 우연 범위이고, 개인지 고양이인지는 두 버전 모두 100장을 다 맞혔다. 틀린 답은 대부분 닮은 품종 사이에서 나왔다. 스태퍼드셔 불테리어를 아메리칸 핏불테리어로, 버먼을 랙돌로 고르는 식이었다. 사람 눈에도 헷갈리는 쌍둥이 같은 품종들이다.
Jev 1.14 Box는 물체 위치를 얼마나 정확히 찾나
Box는 1.14에서 처음 생긴 질문 유형이다. “고양이는 어디 있나”라고 물으면 위·아래·왼쪽·오른쪽 네 변의 위치를 이미지 크기 대비 비율로 돌려주고 확신도를 함께 준다. 사진 위에 네모난 포스트잇을 붙여 주는 기능이다.
본지는 정답 위치를 아는 이미지 90장을 만들어 시험했다. 설정 화면에 버튼 8개를 그려 놓고 특정 문구의 버튼을 찾게 했고, 개 두 마리와 고양이 한 마리 사진을 배경에 붙여 고양이를 찾게 했다. 고양이를 아주 작게 붙인 경우와 아예 빼 버린 경우도 넣었다.
| 과제 | 건수 | 정답 상자와 절반 이상 겹침 | 평균 겹침 비율(IoU) |
|---|---|---|---|
| 설정 화면 속 지정 버튼 | 30 | 30 | 0.75 |
| 사진 3장 중 고양이 | 30 | 29 | 0.80 |
| 작게 붙인 고양이(110~150픽셀) | 15 | 15 | 0.74 |
겹침 비율(IoU)은 모델이 그린 상자와 정답 상자가 얼마나 포개지는지를 0~1로 잰 값이다. 대상이 있는 75건 가운데 74건이 절반 넘게 포개졌고, 상자 한가운데는 75건 모두 정답 상자 안에 떨어졌다.
약점은 대상이 없을 때 드러났다. 공식 Box 문서는 “Box 답은 언제나 상자다”(A Box answer is always a box)라고 못 박았다. ‘못 찾음’이라는 답 자체가 없다. 길을 물으면 모른다는 말 대신 아무 골목이나 가리키는 행인과 같다.
본지 실측에서도 고양이가 없는 15장 모두에 상자가 그려졌다. 그때 확신도는 0.05~0.40이었고 고양이가 있을 때 가장 낮은 값은 0.48이어서, 갈리기는 하지만 간격이 좁다. 같은 요청에 “고양이가 있나”를 예·아니오로 함께 물었더니 없을 때 0.02~0.04, 있을 때 0.88 이상으로 훨씬 또렷하게 갈렸다.
확신도는 상자의 정밀도도 알려주지 않았다. 대상이 있는 75건에서 확신도와 겹침 비율의 상관계수는 0.01로, 확신도가 높다고 상자가 더 정확하지는 않았다. 다만 이번 시험은 사진을 붙이고 버튼을 그린 합성 이미지라 실제 장면보다 쉽다.
다국어는 얼마나 좋아졌나
회사가 1.14에서 가장 크게 내세운 개선은 다국어지만, 표현은 조심스러웠다.
“대부분 아주 조금씩 나아졌을 것이다. 하지만 가장 큰 향상은 다국어 지원에서 기대한다.”
“Most things should be a tiny bit better, but we expect the largest gain in multi-lingual support.”
측정치가 아니라 기대이고, 언어별 수치도 공개하지 않았다.
본지가 직접 재 봤다. 아마존(Amazon)이 공개한 음성비서 명령 데이터셋 MASSIVE에서 같은 뜻의 문장 200개를 7개 언어로 골라, 의도 보기 59개 가운데 하나를 고르게 했다. 1400문장에서 1.13은 81.3%, 1.14는 83%를 맞혀 1.7%p 올랐고, 같은 문장끼리 짝지어 비교하면 우연으로 보기 어려운 차이다.
일곱 언어 모두 같거나 올랐다. 그런데 가장 많이 오른 언어는 영어(3.5%p)였고, 아랍어는 0.5%p 오르는 데 그쳐 여전히 꼴찌다. 반 평균은 올랐는데 원래 잘하던 학생이 가장 많이 오른 성적표다. 영어와 다른 언어의 격차는 줄지 않았다.
26만토큰 문맥, 길수록 흐려진다
Jev가 한 번에 읽는 글의 양은 기본이 요청당 6만4000토큰, 질문당 3만2000토큰이다. 실험 헤더를 켜면 둘 다 약 26만2000토큰까지 늘어나는데, 문서는 대가도 함께 적었다.
“기본 한도 안에 머물 때보다 느리고 덜 정확하다. 꼭 필요한 요청에만 켜라.”
“It is slower and less accurate than staying within the default limitso turn it on only for requests that need it.”
본지는 가짜 고객 문의 기록 사이에 환불 요청 한 줄을 숨겨 두고 찾게 했다. 가장 긴 기록은 8800여줄이었다. 문장을 그대로 숨기면 24만7000토큰에서도 1.13과 1.14 모두 정확히 찾았지만, 1.14의 응답 시간은 3만1000토큰의 0.34초에서 24만7000토큰의 4.4초로 늘었다.
숨긴 문장을 다른 말로 바꾸고 미끼를 섞자 사정이 달라졌다. 같은 주문번호로 들어온 환불 아닌 문의 20건과, 전체 줄의 5%쯤 되는 다른 주문의 환불 요청이 미끼였다. 1.14가 환불 요청이 있을 때 준 확률은 8000토큰에서 평균 0.79였다가 24만7000토큰에서 0.57로 내려갔고, 없을 때 준 확률은 0.04에서 0.26으로 올라갔다.
있음과 없음의 차이가 0.75에서 0.31로 좁아졌다. 길이별로 10건씩만 잰 결과라 경향으로 읽어야 하지만, 책장이 늘어날수록 사서의 대답이 ‘아마도’로 바뀌는 모습이다.
그러면 이미지 판단도 싸게 할 수 있나
Jev를 쓰는 가장 큰 이유는 값이다. 100만토큰에 0.042달러이고 답에는 돈을 받지 않는데, 공식 요금 문서는 이미지도 텍스트와 같은 입력 토큰 단가로 계산한다고 적었다.
문제는 이미지 한 장이 몇 토큰이냐다. 문서는 추정 방법을 아직 내놓지 않았고, 본지가 크기별로 재 보니 대략 385픽셀당 1토큰이었다. 1024×768 사진 한 장이 2074토큰이므로, 그 사진 1000장을 판단하면 사진 몫만 0.087달러(약 116원)가 든다. 본지가 10월 13일 같은 방식으로 잰 문자 메시지 스팸 판단은 질문까지 합쳐 1000건에 0.014달러(약 19원)였으니, 사진 몫만으로 약 6배다. 절대 금액은 여전히 작지만 하루 수백만장을 다루는 서비스라면 계산이 달라진다.
함정도 하나 있다. 같은 이미지를 요청 안에서 여러 번 언급하면 언급할 때마다 다시 과금되는 중복 과금 규정이 적용된다. 문서 표현은 “언급할 때마다 이미지가 다시 더해진다”(Each use adds the image again)이다. 본지 고양이 찾기 시험에서 1568×1046 사진을 상태값과 질문 두 개에 한 번씩, 모두 세 번 언급했더니 요청 하나가 1만3071토큰이었다. 같은 사진을 한 번만 언급한 요청은 4739토큰이었다. 짐을 하나 더 실을 때마다 요금이 붙는 택시와 비슷하다.
회사가 먼저 붙인 경고
타입세이프AI는 출시 글에 경고 두 줄을 달았다.
“경고하자면, 이 기능들을 실서비스용으로 보증하기에는 아직 들쭉날쭉함이 너무 크다고 본다!”
“But as a warning, we think there is still way too much jaggedness for us to vouch for these for production use cases!”
“경고하자면, 모든 모델(Jev 포함)은 순수 텍스트보다 멀티모달에서 성능이 떨어진다.”
“As a warning, all models (Jev included) perform worse on multimodality over pure text.”
들쭉날쭉함(jaggedness)은 잘하는 일과 못하는 일의 경계가 고르지 않은 상태를 가리킨다. 울퉁불퉁한 해안선처럼 어디서 꺾일지 미리 알기 어렵다. 본지 실측에서도 Jev는 버튼과 고양이를 거의 다 찾았지만 없는 고양이에게도 상자를 그렸고, 짧은 글에서 또렷하던 판단은 긴 글에서 흐려졌다.
오픈AI(OpenAI)와 마이크로소프트(Microsoft)의 판단 AI와 무엇이 달라졌는지는 2부 비교 기사에서 같은 시험으로 견준다.
남은 변수는 기본 별칭이다. 블로그 예고대로라면 jev-latest는 곧 1.14로 넘어가고, 별칭에 기대 확률 문턱을 맞춰 둔 서비스는 코드 한 줄 바꾸지 않아도 답이 달라진다. 모델 가이드 문서도 이를 명시했다.
“새 버전이 나오면 별칭이 옮겨 가므로, 코드를 바꾸지 않아도 답이 달라질 수 있다.”
“An alias moves when a new release shipso its answers can change without any change to your code.”
