리벨리온즈 임원이 AI 추론을 고가의 희소 자원이 아니라 누구나 쓸 수 있는 일상적 상품으로 만들어야 한다고 주장했다. 추론 비용을 낮추면 시장이 축소되는 것이 아니라 새로운 고객과 업무, 사업 모델이 늘어나 AI 활용이 확산할 것이라는 논리다.
AI 추론을 ‘사치품’에서 일상재로
마셜 최(Marshall Choy) 리벨리온즈(Rebellions) 최고사업책임자는 9월 21일 실리콘앵글에 게재한 기고에서 이같이 밝혔다. 그는 전기·브로드밴드·클라우드 컴퓨팅·스토리지 등이 가격 하락과 보급 확대를 거치며 수요가 폭발적으로 커진 사례를 들어 AI 추론도 같은 전환점을 맞고 있다고 설명했다.
현재 AI 산업은 희소한 가속기와 고가 시스템, 비싼 구축 비용을 중심으로 움직이고 있다는 것이 최 책임자의 진단이다. 기업들은 클라우드 요금이 급증하는 것을 막기 위해 토큰 사용량을 제한하고 API 호출을 조절하며 서비스 배포 범위를 줄이고 있으며, 마이크로소프트(Microsoft)도 AI 사용량을 제한하는 것으로 알려졌다고 그는 기고문에서 언급했다. 추론이 널리 쓰이려면 기업이 AI 상호작용 하나하나의 경제성을 따지지 않아도 될 정도로 비용이 낮아져야 한다는 주장이다.
최 책임자는 추론 비용 하락이 기존 하드웨어 사업자의 시장을 잠식하는 대신 새로운 고객과 업무를 만들 수 있다고 봤다. 27달러짜리 수제 초콜릿과 99센트짜리 초콜릿을 비교하며, 저렴한 제품이 전체 시장을 줄이는 것이 아니라 더 많은 소비자가 접근할 수 있게 해 시장 규모를 키운다고 설명했다. 자동차로는 최고급 드래그스터보다 매일 운행할 수 있는 토요타 캠리와 포드 트랜짓 같은 대중적이고 유지가 쉬운 차량이 경제를 움직이는 것과 같은 원리라고 덧붙였다.
성능 평가도 비용·성과 중심으로 전환
AI 인프라도 특정 조건에서 가장 높은 벤치마크 점수를 내는 시스템보다 일관되고 경제적으로 대규모 운영이 가능한 시스템을 중심으로 설계돼야 한다고 최 책임자는 강조했다. 생성 코드 수, 초당 요청 수, 벤치마크 점수는 엔지니어링 지표일 뿐 기업이 AI에 투자하는 최종 이유인 업무 처리량, 시간과 비용 절감, 사업 진행 속도를 직접 보여주지는 못한다는 설명이다.
추론이 충분히 저렴해지면 기업은 프롬프트와 토큰을 세밀하게 아끼는 데 들이는 시간을 줄이고, AI를 활용해 수행할 수 있는 업무에 집중할 수 있다. 기존 AI 서비스는 추론 효율이 높아질수록 운영비가 낮아지고 수익성이 개선되며, 지금까지 비용 때문에 대규모 도입을 정당화하기 어려웠던 기업도 새로운 고객이 될 수 있다는 것이다. 나아가 주변 상황을 지속적으로 이해하는 지능, 자율 시스템, 상시 작동하는 비서 등 계속 실행되는 서비스도 경제성을 확보할 수 있다고 전망했다.
최 책임자는 이를 위해 추론 인프라가 광범위하게 배포할 수 있을 만큼 저렴하고, 지속적으로 작동할 만큼 효율적이며, 기존 서버 환경에 쉽게 통합될 만큼 실용적이어야 한다고 제시했다. 기고문은 27달러짜리 수제 초콜릿과 99센트짜리 초콜릿을 사례로 들었지만, AI 추론의 구체적인 가격이나 출시 일정, 특정 제품의 성능 수치를 제시한 것은 아니다. 결론적으로 그는 AI 추론의 상품화가 추론의 가치를 낮추는 과정이 아니라, 더 많은 장소에서 AI가 가치를 만들도록 사용 범위를 넓히는 과정이라고 주장했다.