AI가 공시에서 숫자를 정확히 읽고도 틀리는 이유

포인트72의 256주와 삼성전자의 두 매출로 살펴본 공시 분석 AI의 오류

노트북 옆에 공시 문서와 계산기가 놓인 책상
AI 생성 이미지
핵심 요약 AI 요약
1
숫자와 대상의 불일치:NumTrace 연구에서 세 AI 모델의 공시 분석 실패 주장 중 67.5~81.8%는 숫자는 맞지만 회사·계정·기간·집계 범위 등을 잘못 붙인 오류였다.
2
계열사 보유량 혼동:GPT-6 아스트라는 포인트72 그룹의 테이크투 주식 보유량을 계열사 한 곳의 256주로 답했지만, 그룹 합계는 285만4645주였다.
3
그룹 합산 정확도 저하:13F 과제에서 세 모델의 대상·단위 일치율은 운용사 한 곳을 물었을 때 87.8~100%였으나 관계 운용사를 포함한 그룹 합산에서는 41.9~48.5%로 떨어졌다.
4
연결과 별도 구분:삼성전자의 2025년 매출은 연결 기준 333조6059억3800만원, 별도 기준 238조430억900만원으로, OpenDART API에서는 fs_div로 두 범위를 구분해 조회할 수 있다.
5
검증 기준의 중요성:출처의 숫자뿐 아니라 회사·계정·기간·단위와 집계 범위를 함께 확인해야 하며, XBRL 태그 제공이 AI 오류를 줄이는지는 연구에서 시험하지 않았다.
기사 목차 펼치기 / 접기

포인트72(Point72) 그룹이 테이크투 인터랙티브(Take-Two Interactive) 주식을 몇 주 보유했느냐는 질문에 AI는 256주라고 답했다. 실제 공시에 나오는 정확한 숫자지만, 그 주식을 보유한 곳은 그룹 전체가 아니라 계열사 한 곳뿐이었고 그룹 합계는 285만4645주였다. NumTrace 논문에서 컬럼비아대 등 연구진은 이처럼 공시의 숫자를 정확히 옮기고도 회사·계정·기간·집계 범위를 잘못 붙이는 오류가 AI 공시 분석 실패 주장의 67.5~81.8%를 차지한다는 사실을 추적했다.

계열사 보유분 256주를 그룹 전체로 읽은 포인트72 사례

연구진은 GPT-6 아스트라(GPT-6 Astra)에 2022년 말 기준 포인트72 그룹의 테이크투 인터랙티브 보통주 보유량을 물었고, 모델은 256주라고 답했다. 연구진이 논문 부록의 사례 도표에 제시한 출처는 그룹 산하 계열사인 큐비스트 시스템매틱 스트래티지스(Cubist Systematic Strategies)의 보유표였다.

실제 그룹 전체 보유량은 포인트72 자산운용의 285만3340주에 큐비스트의 256주와 포인트72 중동 법인의 1049주를 더해 285만4645주에 이른다. 포인트72 자산운용의 285만3340주는 SEC 원공시 보유표와 정정공시 보유표에 모두 기재돼 있으며, 연구진은 여기에 어느 계열사 보유분을 합산해야 하는지 별도로 확인해 기준 답안을 세웠다.

보유표의 행 구분에서도 혼동 요인이 겹친다. 포인트72 자산운용은 보통주 바로 아래에 같은 종목의 5만주 규모 콜옵션을 적었는데, 수량은 보통주와 같은 열에 적히고 옆 열에만 콜옵션으로 표시돼 있다. 종목명과 수량만 읽으면 옵션 계약의 대상인 주식까지 보통주 보유량에 더할 수 있으며, SEC 정정공시 보유표에도 보통주와 콜옵션은 각각 별도 항목으로 나온다.

여러 운용사가 같은 주식의 투자 결정을 함께 내릴 권한이 있다면 여러 공시에 같은 보유분이 잡힐 수 있다. SEC의 Form 13F 작성 지침은 한 운용사가 일정 요건에 따라 공동 보유분을 신고하면서 다른 운용사를 함께 표시하는 방법을 정한다. 그룹 보유량을 구하려면 개별 공시의 보유표에 더해 어떤 운용사가 다른 곳을 대신해 보고했는지도 읽어야 한다.

값은 97.7% 맞히고 대상은 82.7%에 그친 13F 채점 결과

컬럼비아대 소속 연구자 등이 참여한 논문 초고는 2026년 10월 26일 공개됐다. 연구진은 미국 증권거래위원회(SEC)의 공시 시스템인 EDGAR에서 주식 보유 공시(Form 13F), 재무제표, 임원 이연보상 자료 등 문서 2163개를 모아 질문 540개를 만들고 클로드 오푸스(Claude Opus) 5.5, GPT-6 아스트라, 딥시크(DeepSeek) V4.1 플래시 세 에이전트를 평가했다. 채점 과정에서는 답변 속 수치가 공시의 숫자를 정확히 옮겼거나 계산이 맞는지(값 검증) 먼저 확인한 뒤, 그 수치가 질문에서 요구한 회사·계정·기간·단위·집계 범위에 맞는지(결합 검증)와 인용 자료가 답변을 뒷받침하는지(근거 검증)를 나눠 판정했다.

연구진은 값 검증은 통과했지만 결합 검증에서 탈락한 사례를 ‘RNWA(Right Number, Wrong Account, 맞는 숫자·틀린 계정)’ 오류로 규정했다. 쉽게 말해 영수증 금액은 맞게 옮겨 적고 거래처나 항목 칸을 잘못 기입하는 오류로, 포인트72 계열사 큐비스트의 256주를 그룹 전체 보유량으로 답한 사례가 대표적이다. 논문 표 3에서 13F 과제에 GPT-6 아스트라가 제시한 수치 387건을 채점한 결과, 출처에서 숫자를 제대로 옮겼거나 계산이 맞았던 비율은 97.7%였지만 질문의 대상과 단위 등에 맞게 제시한 비율은 82.7%로 15%p 낮았다.

“공시에서 숫자를 정확히 옮겼거나 계산이 맞은 비율은 97.7%에 달했지만, 질문이 요구한 회사와 계정·단위에 맞게 답한 비율은 82.7%로 15%p 떨어졌다. 세 모델이 틀린 주장의 67.5~81.8%가 이처럼 숫자는 맞고 소속을 잘못 붙인 오류였다.”

NumTrace 논문의 공시 오류 사례를 보면 분기 말 차입금을 연말 차입금으로 옮기거나 서로 다른 부채 항목을 혼동한 답변도 나온다. 표 위에 적힌 단위를 빠뜨리면 숫자를 그대로 베껴도 금액이 달라지므로, 인용한 문서에서 답변에 나온 숫자를 찾아냈더라도 그 숫자가 어느 항목에 적혔는지와 표가 어느 시점의 자료인지 함께 확인해야 한다.

같은 13F 공시라도 여러 운용사의 보유분을 합쳐야 할 때 오답이 크게 늘었다. NumTrace의 13F 과제 비교에서 운용사 한 곳의 보유량을 물었을 때 세 모델이 숫자를 질문의 대상과 단위 등에 맞게 제시한 비율은 87.8~100%였지만, 관계 운용사를 포함한 그룹 전체를 물었을 때는 41.9~48.5%로 절반 아래로 떨어졌다. 두 범위는 각각 세 모델 가운데 가장 낮은 점수와 가장 높은 점수를 표시한 수치이며, 연구진이 공동 보고를 비교한 운용사 그룹은 9개여서 다른 SEC 공시에서도 격차가 이만큼 날지는 알기 어렵다.

Form 13F 과제에서 운용사 한 곳 보유량을 물으면 클로드 오푸스 5.5 100%, GPT-6 아스트라 100%, 딥시크 V4.1 플래시 87.8%였으나 관계 운용사 포함 그룹 전체를 물으면 각각 48.5%, 41.9%, 43%로 떨어졌다.
Form 13F 과제별 질문 대상·단위 일치 비율 (결합 검증 통과율) (운용사 1곳 vs 관계 운용사 포함 그룹 합산) · 출처: NumTrace 논문 표 11

한 운용사의 보유량을 찾을 때는 보고 기간에 맞는 보유표에서 해당 종목을 찾으면 되지만, 그룹 전체를 계산할 때는 공시를 여러 장 놓고 운용사 이름과 대신 신고한 보유분부터 가려내야 한다. 같은 보유분을 두 차례 더하면 계산 자체가 맞아도 합계는 틀리기 때문에 SEC의 공동 보고 지침에 맞춰 어느 보유분을 합계에 넣을지 확인해야 한다.

삼성전자 2025년 연결·별도 매출 95조원 차이와 국내 조회 기준

같은 집계 범위 혼동은 국내 기업 재무제표에서도 그대로 나타난다. 삼성전자의 2025년 연결 손익계산서에는 매출 333조6059억3800만원이 적혀 있는 반면, 별도 손익계산서의 매출은 238조430억900만원으로 두 금액의 차이가 95조5629억2900만원에 달한다. 연결 손익계산서는 삼성전자와 종속기업의 실적을 합친 뒤 회사 사이의 내부 거래를 빼고, 별도 손익계산서는 삼성전자 법인 한 곳을 기준으로 작성하기 때문이다.

두 수치 모두 삼성전자가 낸 2025년 실적이므로 종속기업까지 포함한 매출을 알고 싶다면 연결 손익계산서에서 매출을 찾아야 한다. OpenDART의 재무제표 조회 안내를 보면 단일회사 전체 재무제표 API(fnlttSinglAcntAll.json)를 호출할 때 필수 파라미터(fs_div)에 연결 재무제표(CFS)와 별도 재무제표(OFS)를 구분해 지정할 수 있고, 응답에도 재무제표 명칭(sj_nm)과 XBRL 표준 계정 ID(account_id), 통화 단위(currency)가 함께 반환된다.

삼성전자는 연결 재무제표와 별도 재무제표를 따로 공개했다. AI가 두 매출을 구별하는지 시험하려면 손익계산서 두 장을 함께 주고 종속기업을 포함한 매출을 물으면서, 답변에 금액·문서 이름·열 제목·공시에 적힌 단위까지 쓰게 하면 어느 표의 값을 가져왔는지 추적할 수 있다.

공시 분석 AI 검증 3단계 체크포인트
NumTrace 감사 기준 · OpenDART API 규격 반영
1단계 · 값 검증(Value)
단독 숫자 일치의 한계
97.7% vs 82.7%
공시에서 숫자를 정확히 옮겼더라도 다른 계열사나 기간의 수치일 수 있어 값 검증만으로는 오답이 걸러지지 않음.
2단계 · 결합 검증(Binding)
소속·계정·집계 범위 대조
실패의 67.5~81.8%
공동 보고(Form 13F)나 연결·별도 구분처럼 회사·계정·단위를 잘못 붙인 RNWA 오류가 전체 실패의 대다수임.
3단계 · 국내 조회 실무
API 요청 단계부터 범위 고정
fs_div: CFS / OFS
국내 공시는 OpenDART 단일회사 전체 재무제표 API에서 연결(CFS)·별도(OFS)를 먼저 지정하고 계정 ID와 통화 단위가 함께 반환됨.
[핵심 시사점] AI에 공시 분석을 맡길 때는 출처 링크만 보지 말고 재무제표명·계정 ID·통화 단위를 함께 출력하도록 조회 조건을 고정할 필요가 있음.

채점 규칙 수정으로 23%p 달라진 점수와 XBRL 태그의 한계

NumTrace 연구진은 논문의 채점기 검증에서 자동 채점 과정에서 생긴 오류도 공개했다. 클로드 오푸스 5.5가 내놓은 답변은 그대로 두고 채점 규칙만 고쳤더니, 질문의 대상과 단위 등을 맞힌 것으로 판정한 비율이 70.8%에서 93.8%로 23%p 올랐다. 연구진은 모델마다 한 질문에 한 번씩 답하게 했고 모든 모델에 같은 검색 절차를 적용했기 때문에, 검색 방법을 바꾸거나 같은 질문에 여러 번 답하게 했을 때도 모델 간 격차가 유지될지는 이 점수만으로 알 수 없다.

재무제표를 기계가 읽을 수 있게 만든 ‘XBRL(재무보고용 국제 표준 전산 언어)’은 쉽게 말해 숫자마다 회사·계정·단위·기간 이름표를 달아두는 디지털 꼬리표다. OpenDART API 응답에 표준 계정 ID와 통화 단위가 함께 붙어 나오는 것처럼 숫자 옆에 이런 정보를 붙여 AI에 건네면 표의 다른 항목이나 다른 시점의 수치를 골랐는지 확인하기가 쉬워진다. 다만 NumTrace 연구진은 태그를 제공했을 때 모델의 점수가 달라지는지는 시험하지 않았으며, 포인트72 사례처럼 보유분을 여러 공시에서 더해야 할 때는 각 운용사가 누구를 대신해 신고했는지도 살펴야 한다.

삼성전자의 손익계산서 두 장에는 모두 ‘매출액’이라고 적힌 줄이 있다. 종속기업의 매출이 포함됐는지 알려면 금액을 읽기 전에 위에 붙은 재무제표 제목부터 봐야 한다.

자주 묻는 질문 (FAQ)
Q. AI가 출처를 달았는데도 왜 틀릴 수 있나?
A.출처에서 그 숫자를 찾았더라도 다른 계열사의 보유량이거나 다른 기간의 매출일 수 있다. 표에서 어느 항목에 적힌 숫자인지와 단위가 무엇인지까지 함께 확인해야 한다.
Q. 연결 매출과 별도 매출은 어떻게 다르며 실무에서 어떻게 구분해 조회하나?
A.연결 매출은 지배기업과 종속기업을 한 경제 단위로 보고 내부 거래를 제거해 집계하며, 별도 매출은 지배기업 법인 기준으로 작성한다. OpenDART API에서는 조회 단계부터 fs_div 파라미터를 연결(CFS)과 별도(OFS)로 지정해 혼동을 줄일 수 있다.
Q. XBRL 태그를 주면 이런 오류가 사라지나?
A.태그로 숫자의 계정, 기간, 단위를 확인할 수 있지만 NumTrace 연구진은 태그를 줬을 때 AI의 오류가 줄어드는지 시험하지 않았다. 여러 운용사의 보유분을 더할 때는 각 공시가 어느 회사의 몫을 포함하는지도 따로 살펴야 한다.

RELATED ARTICLES

RECOMMENDED STORIES