핵심 요약
기사 목차 펼치기 / 접기
PC방 구석 자리에서 컴퓨터 일곱 대를 상대로 1대7을 하던 시절이 있었다. 컴퓨터는 정해진 순서대로 몰려왔고, 입구를 막고 버티면 결국 무너졌다. 1998년 나온 스타크래프트를 기억하는 세대에게 컴퓨터는 이기는 맛을 주는 상대였다.
2017년에도 상황은 크게 다르지 않았다. 그해 10월 31일 세종대에서 열린 인간 대 AI 대결에서 프로게이머 송병구는 AI 봇과의 4연전을 모두 승리로 장식했다. 네 판에 걸린 시간은 30분 남짓에 불과했고, 완패한 봇 가운데에는 노르웨이 개발자가 만든 tscmoo도 포함돼 있었다.
9년 뒤 tscmoo를 만든 개발자가 완전히 새로운 AI를 들고 나타났다. 프로게이머 김성현은 지난 9월 24일 플루토(Pluto)와의 17판 대결에서 5판을 따내는 데 그쳤다. 첫 대결 영상은 단숨에 조회수 315만회를 돌파했다. 김성현은 대결 후 인터뷰에서 “플루토가 운영에서 손해보더라도 압도적인 컨트롤로 그 차이를 만회하더라”고 혀를 내둘렀다.
플루토는 사람의 경기 기록을 한 판도 보지 않고 혼자 배웠고, 그렇게 익힌 실력으로 프로게이머를 꺾었다. 다만 그 승리를 만든 것은 정교한 수읽기보다 기계의 무자비한 손이었다.
수천 줄 규칙집을 버린 신경망
플루토를 만든 이는 노르웨이 개발자 베가르드 멜라(Vegard Mella)다. 깃허브(GitHub)에서도 tscmoo라는 아이디를 쓴다. 그는 페이스북 AI 연구소 시절 분산 강화학습 도구인 무립(moolib) 프레임워크를 공동 개발한 핵심 엔지니어다.
그의 초기 봇 tscmoo는 철저히 사람이 하드코딩한 규칙집으로 구동됐다. 2015년 AIIDE 대회에서 승률 88.52%로 봇 부문 우승을 차지했지만, 같은 해 사람 고수(Djem5)와 치른 시범 경기에서는 단 한 세트도 따내지 못했다. 개발자의 설계 논리대로 적 유닛을 교전 묶음으로 나누고 승산이 있는 규모만큼만 병력을 투입하는 규칙 기반의 한계였다.
플루토는 수년간 축적한 그 규칙집을 통째로 버렸다.
지난 8월에는 캐나다 메모리얼대 데이비드 처칠(David Churchill) 교수가 주관한 2026년 CoG 스타크래프트 AI 대회에 처음 출전했다. 10개 봇이 맞붙은 풀리그 라운드로빈에서 2884전 2844승을 거두며 98.61%라는 경이적인 승률을 찍었다. 기록한 40패는 퍼플웨이브(PurpleWave)에 21패, 스타더스트(Stardust)에 14패, 바나나브레인(BananaBrain)에 3패, 스팀해머(Steamhammer)에 2패뿐이었다. 이어진 8월 30일 결승전에서는 퍼플웨이브를 4대1로 완파하고 정상에 올랐다.
대회를 주관한 처칠 교수는 공식 기술 보고서에서 플루토의 등장을 다음과 같이 평가했다.
“스타크래프트 브루드워 공식 대회 역사상 오직 강화학습만으로 구축돼 출전한 최초의 AI 봇이다.”
대회 제출물은 약 300MB 용량의 신경망 가중치 파일과 이를 게임 엔진에 연동하는 실행 파일이 전부였으며, 고가의 GPU 가속기 없이 일반 CPU 환경에서 구동됐다. 수천 줄짜리 if-else 조건문 규칙집을 들고나온 경쟁 봇들 사이에, 인간의 교본 없이 스스로 깨우친 신경망이 들어선 것이다.
사람 기보 제로… 거울 속 자신과만 스파링한 셀프 플레이
강화학습의 기본 원리는 정답지를 미리 보여주지 않는 데 있다. 에이전트가 환경 속에서 행동을 취할 때마다 결과에 따라 보상(상)과 페널티(벌)를 부여해 시행착오를 거치며 스스로 최적의 행동 패턴을 찾아내도록 유도한다. 반려견에게 간식을 주며 앉는 동작을 훈련시키는 메커니즘과 유사하다.
멜라가 대회에 제출한 공식 기술 명세서는 학습 재료의 순수성을 선명하게 규정했다.
“인간의 리플레이 기보도, 모방 학습도, 사전에 짜인 스크립트도, 외부 봇과의 연습도 일체 배제했다. 모든 훈련 경기의 양 진영은 오직 동일한 최신 가중치 모델이 맡았다. 과거 체크포인트도, 다른 상대도 쓰지 않았다.”
동일한 신경망이 스스로의 복제본과 맞붙는 순수 셀프 플레이(Self-play) 구조다. 알고리즘으로는 근접 정책 최적화인 PPO(Proximal Policy Optimization)를 채택했다. 행동을 선택하는 액터(Actor) 신경망과 그 행동의 가치를 채점하는 크리틱(Critic) 신경망을 쌍으로 육성하는 액터-크리틱 구조다. 학습의 출발점은 어떠한 사전 지식도 없는 완전한 백지, 즉 무작위 가중치였다.
스타크래프트2에서 그랜드마스터 반열에 올랐던 딥마인드(DeepMind)의 알파스타(AlphaStar) 연구와는 궤를 달리한다. 알파스타는 방대한 인간 리플레이 데이터를 사전 모방 학습한 뒤, 과거의 다양한 버전들을 모은 리그(League) 풀을 구성해 상호 스파링을 진행했다. 플루토는 인간 모방과 리그 시스템이라는 두 단계를 모두 건너뛰었다.
오직 거울 속 자신과만 스파링을 거듭한 고독한 복서다.
무작위 가중치에서 출발한 보상 체계와 제로섬 원리
문제는 초기 진입 장벽이다. 개발자 설명서에도 명시됐듯, 무작위로 초기화된 신경망이 스타크래프트처럼 복잡한 전장에서 우연히 승리를 거두며 학습 실마리를 찾기란 불가능에 가깝다. 일꾼 유닛 하나 제대로 조작하지 못하는 신경망에게 게임 끝의 승패 결과만 던져주면 학습의 나침반이 작동하지 않는다. 이에 멜라는 최종 승패 이전에 단계별 마일스톤 점수를 부여하는 보상 형성(Reward Shaping) 메커니즘을 설계했다.
| 보상 항목 | 부여 기준 | 시스템 내 핵심 역할 |
|---|---|---|
| 점수 보상 | 생존 아군 유닛의 자원(미네랄·가스) 총비용 | 학습 초기 생산 및 적 파괴 신호 유도 |
| 오프닝 보상 | 지정된 전략 빌드 오더를 대략 모방 시 가산 | 초반 빌드 오더의 전략적 다양화 |
| 다양성 보상 | 희귀 유닛이나 테크트리 해금 시 소폭 가산 | 신규 전술 탐색 및 국소 최적화 방지 |
| 승패 보상 | 최종 승리 시 +1, 패배 시 -1 부여 | 학습 후반 수렴을 이끄는 결정적 지표 |
모든 보상 지표는 한쪽이 획득한 수치만큼 상대방이 정확히 감점을 받는 엄격한 제로섬(Zero-sum) 방식으로 산정됐다. 유닛을 무작정 많이 뽑는 것보다 상대보다 자원 잔여량을 많이 남기는 보존율이 점수가 되는 메커니즘이다.
빌드 오더의 경우 인간이 작성한 39종 목록을 활용했으나, 모델에게는 단순 식별 번호만 전달했다. 세부 생산 순서는 신경망이 전장 속에서 스스로 찾아야 했으며 보상 가중치도 낮았다. 설명서에는 ‘4풀’ 번호를 부여받고도 실제로는 ‘9풀’로 시작하는 기형적 변칙 사례가 기록돼 있다. 과거 데이터나 리그 시스템 없이 단일 가중치끼리만 맞붙을 때 발생하기 쉬운 단일 전략 쏠림을 막기 위한 최소한의 유도선이었다.
골을 넣는 법 대신 공을 지키는 요령부터 학습시킨 결과다.
뇌의 절반이 기억… 3억1500만 파라미터가 담아낸 전장
AI인사이트저널(AI Insight Journal)은 깃허브에 공개된 대회 출전판의 가중치 파일을 직접 열어 텐서 269개의 구성을 집계했다. 신경망이 학습으로 조정하는 숫자인 파라미터는 모두 3억1504만개였다.
파라미터의 절반 이상이 과거 상황을 기억해 다음 판단으로 넘기는 순환 신경망(GRU)에 집중됐다. 플루토에는 적의 기지 위치나 테크트리를 별도 텍스트로 저장해두는 하드코딩 메모장이 없다. 개발자 설명서가 밝힌 대로 정찰한 정보를 기억하고 추론하는 모든 과업을 신경망 내부 연산에 온전히 맡겼기 때문이다.
메인 GRU 옆에는 8스텝(약 2초)마다 전장 요약을 기록하는 128칸짜리 저속 메모리가 배치돼 약 4분간의 장기 기억을 유지한다. 대회 출전 가중치 파일에는 훈련용 채점기 3종과 상대 예측 모듈의 흔적도 남아 있었으나, 배포 버전에서는 실전 추론 효율을 위해 떼어냈다.
메모장 없는 정찰병은 본 것을 전부 뇌 속에 새겨야 했다.
수읽기가 아닌 물리력… 하늘의 눈과 열 개의 손
플루토는 6프레임마다 단 하나의 판단을 내린다. 초당 4회, 분당으로 환산하면 약 240회 수준이다. 명령 실행은 판단 근거가 된 화면보다 4프레임 지연되므로, 급변하는 상황에 대한 반응 속도는 약 170~420밀리초(ms)에 달한다. 순수한 판단 주기만 놓고 보면 최정상급 프로게이머의 분당 행동수(APM)인 400 안팎에 한참 못 미친다.
게임 방송 화면에 표시되는 플루토의 분당 행동수(APM)가 수천 단위까지 폭증하는 비결은 다른 곳에 있다. 복수의 유닛에 동시에 하달된 분산 명령을 스타크래프트 엔진이 각각 독립된 클릭으로 집계하기 때문이다.
진짜 격차는 사고의 횟수가 아닌 눈과 손의 물리적 구조에서 갈렸다. 인간은 좁은 화면 창을 마우스로 끊임없이 옮겨야 하지만, 플루토는 전장 시야를 비추는 가상 카메라가 없어 시야가 확보된 전 맵을 한눈에 조감하고 동시타를 때린다. 한 번에 유닛을 12기까지만 묶을 수 있는 인간의 부대 지정 제한도 없다. 처칠 교수의 보고서 역시 “현재 대회 규정상 봇의 APM이나 동시 명령을 제한하지 않는다”고 확인했다.
해설자 아토시스(Artosis)가 분석한 리플레이에서 플루토는 레이스 한 기를 살려 적의 하이 템플러를 정밀 저격하는 동시에, 지도 반대편의 기지 교전을 오차 없이 지휘했다. 사람은 두 곳 이상에서 교전이 터지면 한쪽의 컨트롤을 놓치기 마련이다. 플루토의 판단력은 인간 고수와 엇비슷했을지 몰라도, 그 시야는 하늘에 떠 있었고 손가락은 열 개였다.
체스를 이긴 건 심리전이 아니라 빛의 속도로 내리꽂힌 손이었다.
AI의 스타크래프트 정복론이 아직 성급한 이유
그렇다면 AI가 스타크래프트라는 종목을 완전히 정복했다고 단언할 수 있을까. 현장의 결론은 회의적이다. 우선 엄격한 룰과 환경을 통제한 공식 대국이 없었다. 멜라가 배포한 오픈소스 모델은 오직 구버전 브루드워(1.16.1) 환경에서만 작동한다. 그러나 프로게이머들의 래더 대결 영상 대다수는 최신 스타크래프트 리마스터 환경에서 진행됐다. 누군가 비공식적으로 코드를 이식해 서버를 열었을 뿐, 배포 주체와 내부 변조 여부는 검증되지 않았다. 김성현이 5판을 따냈고 장윤철이 셔틀 리버로 플루토를 무너뜨렸듯, 프로들의 정밀 분석에서도 셔틀 드랍 등 기습 견제 전술에 취약하다는 점이 증명됐다.
플루토는 실시간으로 학습하며 진화하는 모델도 아니다. 공개된 신경망 가중치는 지난 8월 고정된 이후 한 번도 업데이트되지 않았다. 영상 썸네일의 자극적인 문구와 달리, 경기 중에 바뀌는 것은 상대의 종족과 이전 승패에 따라 오프닝 빌드를 분기하는 밴딧(Multi-armed Bandit) 확률표뿐이다.
실제 공식 래더에서는 심각한 부정행위 사고까지 터졌다. 지난 9월 18일 팀리퀴드(Team Liquid) 커뮤니티에 스타더스트 제작자가 폭로한 바에 따르면, 제3자가 플루토를 개조해 공식 배틀넷 래더에 무단 투입했으며 안개 시야를 걷어내는 맵핵(Maphack) 프로그램까지 결합한 것으로 드러났다. 해당 계정 ‘^333^’은 당시 세계 랭킹 5위까지 치솟았다. 봇 연구 커뮤니티가 래더 환경 침해를 우려해 비공개 검증 방식을 찾던 도중 터진 사태였다. 블리자드(Blizzard) 고객지원 포럼에 신고 글이 접수됐으나 공식 제재 답변은 아직 나오지 않았다.
국내 게임 전문 매체 인벤의 평론처럼, 이 경기는 게임 엔진 내부를 직접 통제하는 소프트웨어와 물리적 신체 한계에 갇힌 인간의 불공정한 이벤트 매치에 가까웠다. 계산기가 암산 챔피언을 이겼다고 해서 수학의 영역을 정복했다고 부르지는 않는다. 다만 이번 계산기는 계산 공식 자체를 스스로 증명해 냈다.
로컬 실행 환경과 브루드워 설치 조건
플루토 봇은 오픈소스 코드 공유 플랫폼 깃허브(GitHub) 저장소에서 누구나 내려받을 수 있다. 구동을 위해서는 브루드워 1.16.1 클라이언트와 게임 메모리 접속 인터페이스인 BWAPI 4.4.0 설치가 필수적이다. 2013년 이후 출시된 인텔 및 AMD 젠(Zen) 아키텍처처럼 AVX2 명령어 세트를 지원하는 6코어 이상 CPU와 2GB의 여유 메모리가 있으면 고성능 그래픽카드 없이도 로컬 환경에서 실행된다.
블리자드의 공식 배틀넷이나 리마스터 환경에서는 지원되지 않으며, 무단 사용 시 이용약관 위반에 따른 계정 제재 대상이 될 수 있다.
남겨진 수수께끼와 카메라 제한의 미래
플루토가 몇백만 번의 대국을 치렀는지, 어떤 컴퓨팅 클러스터 장비에서 얼마 동안의 기간을 거쳐 학습됐는지는 여전히 베일에 싸여 있다. 개발자 멜라는 세부 학습 아키텍처와 비용 데이터를 정리한 정식 학술 논문을 조만간 발표할 예정이다.
컴퓨터 일곱 대를 홀로 상대하던 게이머들이 이제 컴퓨터 한 대의 피지컬 앞에 무릎을 꿇었다.
가상 카메라를 씌워 인간과 똑같은 좁은 화면만 보게 통제했을 때의 승패는 아직 미지수다. 인간의 좁은 시야라는 족쇄를 차고도 이길 수 있을지가 진짜 시험대다.
