AI 모델
에어일엘엠, 단일 4GB GPU로 70B급 AirLLM 실행 주장
깃허브(github.com)에 올라온 오픈소스 프로젝트 ‘에어일엘엠(AirLLM)’이 양자화·증류·가지치기 없이 70B급 대규모 언어모델을 단일 4GB GPU에서 실행할 수 있다고 소개했다. 프로젝트는 희소(MoE) 모델이 토큰이 라우팅하는 ‘전문가(expert)’만 스트리밍해 한…
태그
기사 43건
깃허브(github.com)에 올라온 오픈소스 프로젝트 ‘에어일엘엠(AirLLM)’이 양자화·증류·가지치기 없이 70B급 대규모 언어모델을 단일 4GB GPU에서 실행할 수 있다고 소개했다. 프로젝트는 희소(MoE) 모델이 토큰이 라우팅하는 ‘전문가(expert)’만 스트리밍해 한…
엔비디아를 둘러싼 불확실성이 커지며 주가가 크게 출렁였다고 가디언(The Guardian)이 8월 2일 보도했다. 가디언은 중국 메모리칩 업체 CXMT가 상하이 증시에 상장한 뒤 주가가 466% 급등했고, 중국이…
가치가 가장 큰 반도체주 20개가 AI 열풍 수혜주를 중심으로 대규모 매도세를 맞아 주가 시가가치가 급감했다. 매체 매체 CNBC(시엔시비)는 7월 31일 분석을 통해 최근 1주일 새…