[Deep Audio #08] 정답률 1%p 뒤에 숨은 확신과 망설임…판단 AI 실전 설치부터 모델 맞대결까지

정답률 1%p 뒤에 숨은 확신과 망설임…판단 AI 실전 설치부터 모델 맞대결까지

호스트: 아인(Ain) & 젠(Zen)  |  기반 기사: 박근모 기자 실전 연재 6편  |  제작: AI인사이트저널

AI인사이트저널(AI Insight Journal)에 오신 걸 환영합니다. 오늘은 확률 하나로 세상을 판단하는 AI 이야기입니다.

박근모 기자가 쓴 글들을 따라갑니다. Jev를 직접 설치하고 돌려보는 실습부터, Jev와 디시전스 API를 같은 데이터로 맞붙인 비교까지 다룹니다.

문장 대신 숫자를 돌려주는 AI라니, 말수 적은 동료 같군요.

그 숫자를 어떻게 읽고 어떻게 써야 하는지가 핵심입니다. Jev 설치 실습부터 시작하겠습니다.

Jev는 질문에 문장이 아닌 확률로 답하는 판단 AI입니다. 이 연재는 코드를 한 번도 써본 적 없는 사람을 대상으로 합니다. 브라우저 플레이그라운드로 먼저 맛보고, 윈도우 PC에 직접 설치하는 순서입니다.

플레이그라운드에서 택배 사칭 문자를 넣고 "이 문자는 스미싱 문자다"라고 물었을 때 결과가 바로 나왔습니다. 글에 적힌 그대로입니다. "이게 Jev가 하는 일의 전부다. 글과 질문을 넣으면 확률 하나가 돌아온다."

97%가 나왔다고 하니, 꽤 단호하군요.

맞습니다. 진짜 배송 안내로 바꾸자 11%로 내려갔습니다. 코드로 부르면 문자 수백 건을 한 번에 판단시킬 수 있다는 게 설치 이유입니다.

설치는 파워셸에서 파이썬 가상환경을 만들고 Jev SDK를 넣는 순서입니다. 핵심 구조를 글이 한 줄로 정리합니다. "윈도우 파워셸에서 격리된 파이썬 가상환경을 구성한 뒤, Jev SDK를 설치해 명령을 전달하는 것이 전체 구조의 뼈대임."

가상환경은 이 실습용 도구만 따로 담아 두는 격리 상자입니다. 기존 프로그램과 섞이지 않게 보호하는 역할입니다.

2편에서는 API 키를 발급받아 실제로 코드를 실행합니다. 같은 사기 문자를 코드로 돌리자 스미싱일 확률 94%가 나왔습니다. 1편 플레이그라운드의 97%와 차이가 나는 이유는 두 화면이 서로 다른 모델 버전을 가리키기 때문입니다.

기준선을 어디에 그을지는 쓰는 사람 몫이라는 점도 중요합니다.

12건으로 넓혀 돌린 실측 결과도 실립니다. 질문 범위를 좁게 잡으면 택배 사기 외의 스미싱은 잘 걸러내지 못했고, 질문을 넓히자 과태료·건강보험 사기가 93%까지 올라왔습니다. 기준선을 30%로 내리면 사기 6건을 모두 잡으면서 정상 문자는 하나도 걸리지 않는 결과가 나왔습니다.

숫자를 어떻게 해석할지는 결국 내 데이터로 직접 재봐야 한다는 얘기입니다. 그 판단 AI가 버전을 올리면 어떻게 달라지는지, 다음 주제로 넘어갑니다.

판단 AI 비교 연재가 다루는 질문은 이겁니다. 정답률이 비슷한 두 모델을 굳이 비교해야 할 이유가 있는가, 그리고 있다면 어디서 차이가 나는가.

3부 비교 기사가 그 답을 직접 잽니다. 같은 공개 데이터 400건을 두 모델에 1200번 넣은 결과입니다. "Jev 출시 3주 만에 상위 판단 모델은 정확도에서 범용재가 됐다."

정답률 격차가 1%p라면 우열을 따지기 어렵습니다. 신뢰구간이 약 6%p니까요.

차이는 다른 곳에서 났습니다. 보기 순서를 뒤집었을 때 답이 바뀐 비율이 Jev는 4%, 디시전스 API는 15%였습니다. 계산서도 요청 모양에 따라 1.4배에서 8.3배까지 벌어졌습니다.

틀릴 때의 모양도 달랐습니다. SMS 스팸에서 Jev가 놓친 8건 중 5건은 확률이 0.43~0.5로 거의 반반이었고, 디시전스 API가 놓친 9건은 7건이 0.1 이하였습니다. 한쪽은 망설이다 놓쳤고, 다른 쪽은 확신하며 놓쳤습니다.

확신한 오답은 문턱을 올려도 걸러낼 수 없다는 게 핵심입니다.

1부와 2부 실전 가이드는 각 모델을 직접 설치하고 문턱을 정하는 과정을 담습니다. 1부 Jev 가이드는 질문 형식과 보기 설계가 결과를 얼마나 크게 움직이는지를 보여줍니다. 등급을 숫자로만 주면 확신도가 0.37이었는데, 상황으로 풀어 쓰자 1.0으로 올랐습니다.

2부 디시전스 API 가이드는 이미지 판단과 거부 응답을 다룹니다. "답이 이 세 형식 가운데 하나일 때 디시전스를 써라. 추출한 필드나 글로 쓴 설명처럼 직접 정한 JSON 스키마를 따르는 객체를 만들어야 하면 Responses API의 구조화 출력을 써라."

거부는 0이나 '아니오'로 바꾸면 안 된다는 원칙이 인상적입니다. 탈락시켜야 하냐는 질문에 대한 거부가 '탈락시키지 말라'로 읽히면 곤란하니까요.

Jev 1.14 업데이트 기사는 이미지와 Box 좌표 기능을 실측합니다. 없는 고양이에게도 상자를 그린다는 약점이 제목에 나옵니다. 대상이 없어도 '못 찾음' 답이 없어서, 예·아니오 질문을 함께 붙이는 이중 검증이 필요합니다.

닷새 만에 바뀐 비교표 기사는 사진 100장으로 두 서비스를 맞붙인 결과를 담습니다. 정확도는 84장으로 같았지만, 확신도 0.9 이상 오답이 Jev는 1장, 디시전스 API는 5장이었습니다. 문턱 하나가 오답 1장과 5장을 갈랐습니다.

결국 고르는 기준은 정답률표가 아니라 내 업무의 실패 비용이라는 결론입니다.

확률을 돌려주는 모델이라도 틀릴 때 망설이는 건 아닙니다. 문턱은 망설이는 답을 거르는 장치이고, 확신한 오답은 표본 검토로 찾아야 합니다.

질문을 어떻게 쓰느냐가 모델보다 결과를 더 크게 움직인다는 것도 남습니다. 다음 에피소드에서 또 만나겠습니다.