미국의 한 개발자가 대규모 데이터센터에 접속하는 대신 집에 GPU를 모아 AI 작업을 돌리려는 ‘집 안 AI 데이터센터’ 구상을 내놓으며, 중고 서버 부품과 3D프린팅 쿨링 구조까지 동원해 구축에 나섰다.
8월 14일 개인 기술 글(제이디 애고스티노, jdagostino.github.io)에 따르면, 그는 대형 생성형 AI 코딩 에이전트를 외부 서비스로 쓰는 방식은 버그와 권한 상실 위험이 크다고 보고, 직접 분해·조립할 수 있는 방식이 더 신뢰된다고 강조했다.
그는 핵심 부품으로 여러 장의 GPU를 꼽고, AI 연산에 필요한 병렬 행렬 계산과 빠른 메모리를 감당하려면 GPU가 적합하다고 설명했다. 다만 “AI용으로 설계된 하드웨어가 현재 매우 비싸다”고 전제한 뒤, 중고 서버 하드웨어 ‘이-웨이스트’ 리셀러로부터 저렴하게 구한 GPU를 활용했다고 썼다.
글에는 2022년 ‘클라우드 게임’용으로 나왔던 AMD 워크스테이션 GPU의 파생 모델인 ‘V620’이 언급된다. 이 카드는 일반 판매가 이뤄지지 않았고, AI 워크로드용 설계와 소프트웨어 지원이 부족해 상대적으로 저렴하게 구할 수 있었다고 그는 적었다. 각 카드에는 32GB VRAM이 들어있다고 설명했으며, 이 카드들은 팬이 없고 서버의 강력한 블로워 팬으로 냉각을 가정한다고 덧붙였다.
또 다른 조립 부품으로는 2017년 X299 플랫폼 메인보드와 인텔 코어 i9-10900X 프로세서가 포함됐고, 메인보드에는 PCIe x16 슬롯 4개가 있어 GPU 4장을 나란히 붙이는 데 초점을 맞췄다고 했다. RAM과 SSD는 집에 있던 다른 컴퓨터에서 회수(세이브)했다고 전했다.
전력과 냉각 문제도 상세히 다뤘다. GPU 4장과 CPU까지 고려해 1600W 파워서플라이를 선택했으며, 3D프린팅으로 80mm 서버 팬을 두 장의 GPU에 연결하는 팬 셔라우드를 모델링·제작했다고 적었다. 10000RPM 팬을 사용해 충분한 공기 흐름을 확보하려 했고, 초기에는 메인보드가 팬 속도 제어를 제대로 하지 않아 귀마개를 끼고 세팅했다고 설명했다.
사용자는 조립 장비가 처음에는 부팅되지 않았고, BIOS에서 2017년 보드에 “많은 VRAM을 꽂을 것”을 고려하지 않았던 점 때문에 PCIe 설정 조정이 필요했다고 밝혔다. 특히 Resizable BAR와 MMIO High Size를 각각 별도 메뉴에서 활성화해야 모든 GPU가 연결된 상태로 보드가 시작했다고 적었다.