토큰 377배의 갈림길, 그래프냐 벡터냐

숫자 두 개가 정반대를 가리켰다. 지난 7월 영국 국립데이터혁신센터(NICD)는 GraphRAG를 쓴 AI 에이전트의 진실성(truthfulness)이 벡터 RAG보다 80% 높다고 발표했다. 다섯 달 앞서 나온 벤치마크는 단순 사실 검색에서 GraphRAG가 11.6%포인트 뒤진다고 적었다.

둘 다 맞다. 잰 질문이 달랐을 뿐이다.

그래프가 벡터를 밀어내는 이야기가 아니다. 질문의 종류가 도구를 정하는 이야기다.

벡터가 멈추는 자리

RAG(Retrieval-Augmented Generation)는 LLM의 환각(hallucination)을 줄이는 가장 현실적인 방법으로 자리 잡았다. 문서를 청크(chunk)로 쪼개고, 각 청크를 수치 벡터로 바꿔 저장한다. 질문이 들어오면 유사도가 높은 청크를 찾아 LLM에 넘긴다. 오늘날 기업 AI 시스템 대부분이 이 설계다.

약점은 관계다.

“A가 B를 인수했고, B는 C와 손잡았으며, C의 대표가 D 이사회에 앉아 있다”는 식의 연결 추론에서 유사도 검색은 길을 잃는다. 조각들이 서로 다른 청크에 흩어져 있어서다. 가트너(Gartner)는 2026년 2월 D&A 트렌드 보고서에서 정확도 기준이 높은 작업일수록 RAG 프로젝트가 실패한다고 진단했다. 해법으로는 지식 그래프로 맥락을 보강하는 GraphRAG를 꼽았다.

비유하자면 이렇다. 벡터 검색은 제목이 비슷한 책을 찾아주는 사서다. GraphRAG는 책들 사이의 인용 관계와 저자 네트워크까지 아는 사서다.

GraphRAG는 저장 방식부터 다르다. 텍스트를 청크로 자르는 대신 개체(노드)와 관계(엣지)로 지식 그래프를 짠다. LLM은 자연어 질문을 Cypher나 SPARQL 같은 그래프 쿼리로 바꿔 데이터베이스를 걷는다. 유사도 매칭이 아니라 경로 추론이다.

80%는 무엇을 재는 숫자인가

NICD 연구는 MoNaCo 벤치마크의 복잡한 질문 510개를 썼다. Neo4j가 후원했지만 수행은 독립이라고 명시했다. GraphRAG 에이전트는 정밀도와 재현율을 동시에 끌어올렸고 토큰도 덜 썼다.

의료 쪽 수치는 더 극적이다. Journal of Biomedical Informatics 3월호에 실린 임상 QA 연구에서 온톨로지 기반 지식 그래프를 붙인 프레임워크는 환각률 1.7%를 기록했다. 같은 문항에서 챗GPT-4는 63%, 딥시크-R1(DeepSeek-R1)은 48%였다.

다만 1.7%는 60문항 중 1건이다.

기준 답안은 이집트 병원을 다룬 동료심사 논문 다섯 편에서 뽑았다. 자기 온톨로지가 덮는 범위 안에서 자기를 평가한 구조다. 초록은 상대 감소율을 “61% 이상”이라고 적었는데, 63%에서 1.7%로 내려갔다면 97% 이상이어야 한다. 초록 내 수치 기술에 다소 모순이 있는 만큼, 이 연구는 절댓값보다 전체적인 개선 경향성 위주로 참고하는 편이 안전하다.

Discover Artificial Intelligence에 실린 하이브리드 연구의 비교값은 조금 더 차분하다. 순수 벡터 RAG 78.4%, GraphRAG 85.6%, 둘을 결합한 하이브리드 91.2%다. 세 숫자 모두 구조화된 추론 과제에서 나왔다.

같은 해, 반대 방향의 벤치마크

샤먼대와 홍콩폴리텍대 연구진이 만든 GraphRAG-Bench는 질문을 유형별로 갈라 측정했다. 이 논문은 ICLR 2026에 채택됐다.

결과는 갈렸다. 복합 추론에서 HippoRAG2는 53.38%로 일반 RAG의 42.93%를 앞섰다. 맥락 요약도 64.10% 대 51.30%로 그래프가 이겼다. 하지만 단순 사실 검색에서는 일반 RAG가 60.92%, 마이크로소프트(Microsoft) GraphRAG가 49.29%였다. Natural Question 데이터셋에서 GraphRAG의 정확도는 일반 RAG보다 13.4% 낮았다.

비용을 붙이면 격차가 커진다. 같은 논문 측정에서 질문 1건당 프롬프트 토큰은 일반 RAG가 약 879개였다. 마이크로소프트 GraphRAG의 전역 검색은 약 33만1375개를 썼다. 377배다.

377배를 쓰고 단순 검색에서 11.6%포인트 진다.

논문이 던진 물음이 그래서 단순하다. 그래프가 정말 효과가 있는가, 있다면 어떤 상황에서인가.

마이크로소프트가 스스로 낸 답

비용을 가장 먼저 인정한 쪽은 마이크로소프트였다. GraphRAG 공식 문서는 인덱싱이 비싼 작업이라고 못 박는다. 텍스트에서 개체와 관계를 뽑는 동안 LLM을 대량으로 호출해야 하고, 원본이 바뀌면 그래프를 다시 세워야 한다.

그래서 나온 것이 LazyGraphRAG다. 사전 요약 단계를 걷어낸 방식으로, 마이크로소프트는 인덱싱 비용이 벡터 RAG와 같고 기존 GraphRAG의 0.1% 수준이라고 밝혔다. 전역 검색 질의 비용은 700분의 1이다.

하지만 이 답은 아직 손에 잡히지 않는다. 2024년 12월 저장소 메인테이너는 LazyGraphRAG가 다음 마일스톤이며 최우선 공개 항목이라고 답했다. 그 뒤로 1년 8개월이 지났다. 공식 공개 일정은 확인되지 않는다. 2025년 6월 기준 LazyGraphRAG는 오픈소스로 풀리는 대신 Microsoft Discovery와 Azure Local의 프리뷰 기능으로 우선 편입됐다.

데모와 프로덕션 사이

실측 비용은 코퍼스 규모를 따라간다. GraphRAG 저장소 논의에 올라온 사용자 보고를 보면, 1000쪽 분량 PDF 추출본을 GPT-4o로 인덱싱하는 데 120달러(약 17만원)가 들었다. 100만 단어, 120만 토큰짜리 코퍼스를 딥시크로 처리한 사례는 8.2달러(약 1만2000원)였다. 그래프 데이터베이스 업체 FalkorDB는 4만5000단어짜리 기술 문서 기준으로 2.26달러(약 3200원), 48분을 제시했다.

돈보다 사람이 문제라는 증언도 있다. 데이터스택스(DataStax)의 브라이언 고드시(Brian Godsey)는 프로덕션 품질의 Graph RAG를 다룬 글에서 실패 유형 일곱 가지를 나열했다. 일반 RAG보다 나아지지 않는 경우, 그래프를 붙여도 환각이 남는 경우, 그래프가 너무 크거나 너무 성긴 경우, 순회와 리랭킹이 실전 부하에서 무너지는 경우가 섞여 있다. 개념검증에 이미 성공한 조직도 프로덕션 전환에서 막힌다고 고드시는 적었다.

한국인 개발자 정이태는 Neo4j 기반 GraphRAG 구축 경험에서 다른 각도를 짚었다. Text2Cypher 결과가 좋아도 Neo4j 응답 시간이 예상보다 느릴 수 있고, 실행계획과 스키마 최적화에는 시스템 수준의 전문성이 든다. 온톨로지 설계에 몰두하다 정작 필요한 가벼운 조인과 메타데이터 통합을 놓치는 함정도 짚었다.

대규모 운영 경험을 정리한 엔지니어링 글은 대형 코퍼스의 개체 추출에 몇 주가 걸린다고 적었다. 쿼리 지연, 벡터 저장소와 그래프 저장소의 동기화, 스키마 진화, 데이터 품질 드리프트가 뒤따른다.

그러면 롱컨텍스트가 답인가

검색을 아예 걷어내자는 쪽도 있다. 100만 토큰짜리 창에 문서를 통째로 밀어 넣으면 그만이라고 본다. 구글 딥마인드(Google DeepMind) 연구진은 2024년 EMNLP 산업 트랙 논문에서 자원이 충분하면 롱컨텍스트가 RAG를 평균 성능에서 앞선다고 보고했다. 같은 논문은 RAG의 낮은 비용이 분명한 강점으로 남는다고 덧붙였다.

선언된 창 크기와 실제로 쓸 수 있는 창 크기는 다르다.

어도비 리서치(Adobe Research)와 뮌헨대(LMU)가 만든 NoLiMa 벤치마크는 질문과 정답 사이의 어휘 중복을 지웠다. 12만8000토큰에서 100만 토큰까지 지원한다고 밝힌 13개 모델을 넣었더니, 3만2000토큰 구간에서 11개가 짧은 입력 기준 성능의 절반 아래로 떨어졌다. GPT-4o조차 99.3%에서 69.7%로 내려갔다.

크로마(Chroma)가 지난해 7월 내놓은 기술 보고서도 비슷한 방향을 가리킨다. GPT-4.1과 클로드 4, 제미나이 2.5, Qwen3 등 18개 모델을 놓고 잰 결과, 단순한 작업에서도 입력이 길어질수록 성능이 흔들렸다. 모델은 맥락을 균일하게 쓰지 않는다. 문서가 논리적 흐름을 유지할 때 오히려 더 나빴고, 무작위로 섞으면 좋아지는 구간도 나왔다.

창을 키우는 것으로는 끝나지 않는다. 무엇을 넣을지 고르는 문제가 남는다.

그래도 짓는 쪽

문턱이 높은데도 배포는 늘었다.

AWS는 2025년 3월 Bedrock Knowledge Bases의 GraphRAG를 정식 출시했다. Neptune Analytics를 엔진으로 쓰고 별도 요금은 받지 않는다. Neo4j는 2026년 2월 Aura Agent를 정식 출시하며 에이전트 시간당 0.35달러(약 490원)를 매겼다. EY(언스트앤영)는 차트와 표, 도식까지 함께 검색하는 멀티모달 RAG를 지식 그래프로 엮었다.

가트너는 지난해 6월 예측에서 AI 준비 데이터에 의미 체계를 먼저 갖춘 조직이 2027년까지 생성형 AI 모델 정확도를 최대 80% 올리고 비용을 최대 60% 줄인다고 내다봤다.

한국 사례도 쌓였다. 씽크풀은 이달 키움증권 MTS에 AI투자챗봇을 열었다. 약 1000만 건 규모의 금융 지식자산과 지식 그래프를 멀티에이전트 구조에 물렸다. 한국정보통신기술협회(TTA) 비교시험에서는 질문 적합성 4.284점, 기준 데이터 일치 4.033점, 환각 없음 4.026점으로 세 지표 모두 최고점을 받았다.

피닉스랩은 지난 7월 멘로벤처스(Menlo Ventures)가 이끈 800만 달러(약 113억원) 시드 투자를 받았다. 생명과학 지식 그래프를 얹은 RAG 플랫폼 ‘케이론’을 보령, 한미약품, 동아쏘시오그룹, GC녹십자가 쓴다. 그래파이는 이달 170억원 규모 시리즈A를 마쳤다. 그래프와 벡터, 관계형을 한 엔진에 담은 Akashic DB를 국방과학연구소(ADD), 현대자동차, KB증권, KT가 실증하거나 도입했다.

공공 쪽도 움직였다. 한국가스공사는 흩어진 업무 데이터를 하나의 지식 체계로 잇는 온톨로지 기반 플랫폼을 천연가스 생산 분야에 먼저 적용한다. 국토교통부는 전 국토 공간객체에 URI를 부여하는 공간지식그래프 연구에 착수했다.

두 번째 기억 장치

TCP/IP가 인터넷을 열었고, 관계형 데이터베이스가 비즈니스 소프트웨어를 열었다. 인프라 교체는 늘 조용히 시작됐다.

벡터가 LLM의 첫 기억 장치였다면 그래프는 두 번째다. 벡터는 비슷한 것을 찾고, 그래프는 연결된 것을 안다.

마이크로소프트가 1년 8개월 전 예고한 저비용 방식은 아직 저장소에 없다. 그사이 기업들은 질문 하나에 토큰을 377배 쓸 이유가 자기 업무에 몇 개나 있는지 세고 있다.