MIT 테크놀로지 리뷰(MIT Technology Review)는 LLM(거대언어모델) 다음 세대를 둘러싼 스타트업들의 경쟁이 본격화됐다고 8월 10일 보도했다.
매체는 2017년 구글(Google) 연구진이 발표한 ‘어텐션 이즈 올 유 니드(Attention Is All You Need)’의 트랜스포머가 이후 시장의 주요 LLM 내부 엔진이 됐지만, 최근 발전들이 핵심 기술의 깔끔한 확장이 아니라 결함을 메우는 우회책 성격을 띠고 있다고 짚었다. 이어 과학자·엔지니어들 사이에서 “다음은 무엇인가”라는 질문이 늘고 있으며, MIT 테크놀로지 리뷰는 이 차세대 모델을 LLMs+로 명명했다고 전했다.
매체는 트랜스포머의 강점이 ‘밀집 어텐션(dense attention)’ 방식이라고 설명했다. 텍스트의 각 단어(토큰)를 다른 모든 단어와 비교하는 방식으로 정확한 의미 처리를 가능하게 하지만, 입력 길이가 늘수록 계산량이 급격히 늘어 전력 비용이 커진다는 것이다. 문서 길이가 1만 단어에 이르면 5천만 번의 곱셈이 필요할 수 있다고 예시했다.
전력 소요 부담도 함께 언급됐다. 오픈AI(OpenAI)는 올해 컴퓨팅에 500억 달러를 쓰기로 했다는 내용이 나오며, 국제에너지기구(IEA)는 2030년까지 데이터센터 전력 사용량이 두 배로 늘 수 있다고 전망한 것으로 전해졌다. 또 매체는 트랜스포머가 한 번에 추적할 ‘컨텍스트 윈도우’가 커지기 어렵고, 추론 모델은 자기 노트(체인 오브 쏘트) 기록·재호출 과정에서 추가 데이터가 늘어 병목이 된다고 설명했다.
매체는 이를 풀기 위한 새 아이디어로 ‘어텐션 재구상’을 제시했다. 계산을 모든 단어 쌍이 아니라 일부 쌍에만 적용하는 ‘희소 어텐션(sparse attention)’을 쓰면 비용을 크게 줄일 수 있지만, 그동안 의미 포착 성능이 밀집 어텐션에 못 미쳤다는 것이다. 마이애미 기반 스타트업 서브쿼드래틱(Subquadratic)은 일부 과제에서 주류 대형 LLM과 견줄 만한 희소 어텐션 메커니즘을 만들었다고 주장하며, 입력 텍스트의 각 조각에서 어떤 단어가 중요한지 동적으로 계산한다고 설명했다. 샌프란시스코 기반 매니페스트 AI(Manifest AI)는 어텐션 자체를 바꾸기보다 ‘파워 리텐션(power retention)’으로 컨텍스트 윈도우의 관련 정보를 요약·갱신해 추적 데이터가 폭증하는 것을 막는 방식이라고 제시했다. 매체는 이 회사가 오픈소스 코딩 LLM ‘스타코더(StarCoder)’를 파워 리텐션 버전 ‘파워코더(PowerCoder)’로 바꿨고, 알리바바(Alibaba)의 오픈소스 모델 ‘큐원(Qwen)’ 일부 버전과 경쟁할 수 있다고 회사가 주장한 모델 ‘브럼비(Brumby)’도 공개했다고 덧붙였다.