AI 모델 평가 스타트업 발스가 앤드리슨 호로위츠가 주도한 4000만달러 규모 시리즈A 투자를 유치했다. 공개 시험지의 한계를 보완하기 위해 법률·금융·코딩 등 산업별 업무 수행 능력과 위험을 평가하는 비공개 벤치마크를 운영하며 사업을 확장하고 있다.
발스의 비공개 AI 벤치마크
AI 기업들은 모델의 성능을 입증하고 경쟁사와 차별화하기 위해 벤치마크를 활용해 왔지만, 기존 평가 체계는 최신 모델의 능력을 측정하기에 낡았다는 지적을 받아왔다. 발스(Vals)는 2024년 설립된 AI 평가 스타트업으로, 지난달 앤드리슨 호로위츠(Andreessen Horowitz)가 주도한 시리즈A에서 4000만달러를 조달했다. 앞서 8VC와 블룸버그 베타(Bloomberg Beta)가 주도한 시드 투자를 받은 바 있다. 발스의 성장과 투자 유치 소식은 테크크런치가 9월 19일 보도했다.
공동창업자 라이언 크리슈난은 스탠퍼드대 학부 시절 마이크로소프트(Microsoft)와 대학 인공지능 연구실에서 일했고, 팔란티어에서 인턴으로 근무했다. 그는 최신 모델이 빠르게 등장하는 동안 학술 벤치마크가 이런 발전을 따라가지 못하는 상황을 창업 배경으로 설명했다. 발스는 시험 문제를 공개하는 대신 구체적인 평가 자료를 공개하지 않아 기업이 시험에 맞춰 모델을 훈련하는 일을 어렵게 한다. 일반 상식이나 지식량만 확인하는 방식에서 벗어나 법률·금융·코딩 등 특정 산업의 복잡한 업무를 실제 사람과 비슷한 수준으로 수행해 결과물을 만들어내는지를 살핀다는 것이다.
평가는 긍정적인 결과만이 아니라 모델이 실제 환경에서 작동할 때 발생할 수 있는 부정적 영향도 대상으로 삼는다. 발스는 전통적인 산업 평가 외에 재귀적 자기개선, 정신건강, 사이버보안, 생물보안 분야의 벤치마크를 마련하고 있으며, 제네바협약을 모델이 어떻게 적용하는지 확인하기 위한 무력충돌법 평가도 진행하고 있다고 설명했다. 기업은 비용을 내고 모델을 평가받으며, 크리슈난은 이를 학생이 SAT 응시를 위해 칼리지보드에 비용을 내는 구조에 비유했다.
AI 모델 도입과 기업 의사결정에 미치는 영향
이 같은 평가는 새 AI 모델을 도입하려는 기업의 의사결정에서 중요한 요소가 되고 있다. 성능이 낮다는 사실을 확인하는 일이 단기적으로는 부담이 될 수 있지만, 기업이 모델의 문제를 찾아 개선하고 시간에 따른 변화를 측정하는 데 도움이 된다는 설명이다. 발스는 올해 연방기관에 모델 평가를 제공하는 프로그램도 시작했다. AI 모델이 경제와 사회 전반에 더 널리 쓰일수록 기업이 공개적으로 성능을 설명하고 투자 계획을 제시하는 과정에서 평가 지표의 중요성이 커질 수 있다는 것이 크리슈난의 주장이다.
발스의 현재 매출은 지난해의 8배 수준으로 늘었고, 직원 수는 올해 초 8명에서 25명으로 세 배 이상 증가했다. 회사는 더 큰 사무실로 이전하고 10~15명을 추가 채용할 계획이다. 크리슈난은 AI 기업의 기업공개가 이어질 경우 벤치마크와 평가가 모델의 실제 사용을 좌우하고, 기업이 공개 자료나 투자 설명에서 AI 사업을 설명하는 핵심 기준이 될 수 있다고 내다봤다. 다만 발스가 제시한 전망은 창업자의 견해이며, 회사가 특정 평가의 가격이나 전체 출시 일정을 공개한 내용은 원문에 포함되지 않았다.