한 소프트웨어 엔지니어가 AI로 수백 년치 역사 기록을 분석해 잊힌 운석 보고와 사라진 코뿔소 기록, 미기록 화산 분화 사례 등을 찾아냈다고 소개했다. 이 사례는 10월 9일 개인 기술 블로그에 공개됐다.
AI가 훑은 동인도회사 기록 435만쪽
분석 대상은 1600년대부터 1790년대까지 작성된 네덜란드 동인도회사 기록의 디지털 전사본, 네덜란드 국립도서관의 디지털 신문, 200년치 미국 신문, 선박 항해일지 등이다. 이 가운데 동인도회사 기록은 435만쪽에 달한다. 사람이 하루 8시간씩 주 5일, 쪽마다 2분씩 읽으면 약 70년이 걸리지만, 엔지니어의 가정용 AI 시스템은 하룻밤 12시간 만에 기록 전체를 처리했다고 설명했다.
옛 문서에는 손글씨와 인쇄 상태가 좋지 않은 데다 단어 표기도 일정하지 않아 단순 검색으로는 관련 자료를 놓치기 쉽다. 17세기 네덜란드어로 코뿔소를 나타내는 표기만 약 15가지였다는 것이다. 이를 보완하기 위해 그래픽카드로 문단의 의미를 수치화해 검색하는 방식을 썼고, 동인도회사 기록에서 570만개 문단을 분석 대상으로 삼았다. 단어가 일치하는지뿐 아니라 문단의 주제가 무엇인지 찾아내는 방식이다.
값싼 1차 판독 뒤 원본 대조
검색 결과가 수만건씩 나오는 문제는 단계별 AI 판독으로 줄였다. 먼저 작은 판단 모델 ‘Jev’가 문단을 걸러냈다. 코끼리 언급 5만9천건을 판독하는 데 든 비용은 약 3달러였다고 한다. 모델은 동물인지, 야생인지, 어디에 있는지처럼 범위가 좁은 질문에 답하도록 활용됐다.
Jev가 골라낸 자료는 클로드 하이쿠(Claude Haiku)가 읽고 번역해 날짜와 장소를 추렸다. 이어 앤트로픽(Anthropic)의 클로드 코드(Claude Code) 에이전트가 해당 필사본의 원본 이미지까지 확인해 전사 오류를 점검했다. 새 기록이라고 판단하기 전에는 해당 분야 전문가들이 사용하는 목록과도 대조했다. 엔지니어는 기존 연구에서 사람이 후보 문단을 하나씩 읽고 선별하는 일이 병목이 되곤 한다며, 저렴하고 빠른 1차 판독으로 검토 대상을 줄였다고 설명했다.
조사 결과로는 잊힌 운석 낙하 보고, 기록에서 사라진 코뿔소 세 마리, 기존에 기록되지 않은 화산 분화 등이 제시됐다. 원문은 발견 사례를 열거한 뒤 “한 가지 규칙이 더 있었고, 그것이 가장 중요했다”고 덧붙여 설명을 이어간다. 엔지니어는 AI가 방대한 자료를 검색하고 읽는 작업을 맡았지만, 조사할 질문과 추적할 단서를 정하고 멈출 시점을 판단한 것은 자신이었다며 완전 자율 조사가 아닌 AI 보조 연구라고 강조했다.