허깅페이스와 엘루터AI가 협업한 파인북스(FineBooks) 프로젝트는 역사서 스캔에서 뽑아낸 OCR 텍스트가 오픈 소스 언어 모델 학습 효율을 떨어뜨릴 수 있다고 보고, 최신 오픈웨이트(open-weights) OCR 모델의 성능을 비교·검증해 공개 리더보드를 내놨다.
더디코더(The Decoder)는 파인북스가 8월 11일 공개한 실험 결과로, 역사적 책 2,000여 페이지 이상에 대해 14개 오픈웨이트 OCR 모델을 테스트했다고 전했다. 그 결과 상위 모델은 문자 정확도가 97%를 넘는 수준에 도달했으며, 처리 비용은 페이지 1,000장당 2달러 미만으로 제시됐다.
프로젝트는 공공영역 도서에 대한 오픈형 AI 언어 모델 학습이 ‘나쁜 텍스트’와 마주하게 된다는 점을 문제로 짚었다. 도서관들이 스캔 이미지를 OCR로 변환한 뒤 수년 전 얻어낸 결과물에는 오류가 많고, 이전 연구로는 같은 책을 사람의 전사본으로 학습했을 때보다 OCR 텍스트 학습 효율이 30% 수준으로 떨어질 수 있다는 수치도 언급된다.
파인북스는 첫 타깃으로 생물다양성유산도서관(Biodiversity Heritage Library, BHL)을 지정했다. BHL은 6천400만 페이지가 넘는 30만 건 이상의 디지털화된 자연사 문서를 보유하고 있으며, 파인북스는 이 가운데 공공영역 BHL 문서 약 20만 건을 상위 모델 중 하나로 재처리할 계획을 제시했다. 다만 평가가 4개 언어의 앤티쿠아(Antiqua) 서체와 단일 컬럼 페이지에 한정돼 있고, 프락투어(Fraktur), 비라틴 문자, 필기 등은 포함되지 않았다고 더디코더는 전했다. 리더보드에 오른 모델들은 API 키 없이 로컬 환경에서 구동 가능하며, 결과는 문자오류율(CER)을 기준으로 ‘외교형(diplomatic)’과 ‘독서형(reading)’ 두 변형으로 나눠 측정됐다.