딥엑스(DeepX)가 5W 전력으로 구동하는 2세대 AI 칩 ‘DX-M2’를 테이프아웃하고, 라마 3.1 8B에서 LPDDR5x-PIM을 적용하면 토큰 처리량이 6.7배가 된다는 시뮬레이션 결과를 제시했다. 이이타임스는 11월 9일 딥엑스의 칩 개발과 메모리 내 연산 기술 협력 내용을 보도했다.
DX-M2, 5W로 대형 AI 모델 구동
DX-M2는 모델에 따라 매개변수 200억~1000억개, 활성 매개변수 약 30억~200억개 규모의 모델을 초당 10~30토큰 처리하도록 설계됐다. 전력 소모는 1세대 M1과 같은 5W다. 메모리 대역폭은 초당 50GB에서 150GB로 세 배 늘었고, 딥엑스는 설계 개선과 2나노 공정 적용으로 NPU의 전력 효율을 각각 두 배 높였다고 설명했다. 칩 성능은 80TOPS에 이른다.
회사는 DX-M2가 대규모 전문가 혼합(MoE) 언어 모델을 다루며, 추측 디코딩과 터보퀀트 등 새 기법도 지원한다고 밝혔다. 이 성능 수치는 제품의 전력 소모가 5W라는 조건에서 제시됐다. 딥엑스 창업자 겸 CEO 김록원은 낮은 전력으로 드론 등 배터리 기반 기기에서도 고도화된 AI를 구동하는 것이 목표라고 이이타임스에 말했다.
LPDDR5x-PIM 결합은 전력도 늘어
딥엑스는 삼성전자 메모리 사업부와 LPDDR5x-PIM 적용을 위해 협력하고 있다. PIM은 메모리와 연산 장치 사이에서 데이터를 옮기는 대신 메모리 안에서 연산하는 방식이다. AI 추론의 행렬-벡터 곱셈처럼 메모리 접근이 잦은 작업을 메모리에서 처리해 대역폭을 높이고 데이터 이동 시간을 줄이는 데 초점을 둔다. 딥엑스는 관련 샘플을 받아 사내에서 연산과 성능을 시험하고 있다고 전했다.
딥엑스의 시뮬레이션에서는 라마 3.1 8B 모델의 행렬-벡터 연산을 LPDDR5x-PIM으로 옮길 경우 DX-M2 단독 구동보다 초당 토큰 처리량이 6.7배 높았다. 다만 전체 전력 소모도 2.7배로 늘어나는 조건이다. 회사는 PIM을 쓰지 않을 때와 같은 전력 범위에서도 처리량을 두 배 높일 수 있다고 봤다. 실제 하드웨어에서 검증하려면 컴파일러 작업이 필요하며, 현재 PIM 적용 LPDDR5x 시뮬레이션을 바탕으로 한 컴파일러 시제품을 구동하고 있다. 실제 환경에서 시험할 하드웨어 모듈도 제작 중이며, 컴파일러는 아직 완성되지 않았다고 회사 측은 설명했다.
로봇·AI PC 등 적용처 모색
딥엑스는 대만 주문자상표부착생산(OEM) 업체들과 노트북·워크스테이션용 AI PC의 적용 방안을 찾고 있다. 로봇 업체들은 기기 안에서 더 낮은 전력으로 더 많은 연산을 처리하기를 원한다고 회사 측은 설명했다. 자동차 업체들은 차량 내 에이전트를 구동할 저전력 칩을 찾고 있다고 회사 측은 설명했다. 삼성전자와 차세대 스마트 허브를 개발 중이다. AWS IoT 생태계에 참여해 그린그래스를 통한 원격 모델 업데이트도 지원할 계획이다.
로봇 개발자가 엔비디아(Nvidia)의 아이작 대신 딥엑스의 뉴턴 API를 호출하도록 바꾸면 기존 파이프라인을 딥엑스 시스템에서 돌릴 수 있다는 게 회사 설명이다. 딥엑스는 호환 라이브러리 17개를 마련했고, 엔비디아 제트슨 기반 로봇과 같은 소스 코드를 사용하는 M1 기반 로봇을 시연했다고 밝혔다. 엔비디아에서 전환하면 배터리 수명이 20배 길어지고 전환 시간은 1초 미만이라는 주장도 내놨다.
DX-M2의 출시 일정이나 가격은 보도에 제시되지 않았다. 딥엑스는 다음 세대 DX-M3에서 공식 LPDDR6 PIM을 지원할 계획이며, 이때 이론상 성능 향상 폭은 5~8배라고 밝혔다. 이는 회사가 제시한 기술 목표로, DX-M2와 LPDDR5x-PIM 조합의 시뮬레이션 결과와는 구분된다.