마이크로소프트 AI CEO 무스타파 술레이만은 AI가 인간의 통제를 벗어날 위험이 현실적이라며 모델의 가치 정렬보다 격리(containment)와 통제 가능성을 먼저 확보해야 한다고 주장했다. 더버지는 9월 17일 술레이만과의 인터뷰에서 마이크로소프트의 AI 안전·규제 원칙을 전했다.
마이크로소프트의 ‘휴머니스트 AI’ 원칙
마이크로소프트는 이번 주 37쪽 분량의 ‘휴머니스트 AI 행동강령(Humanist AI Code of Conduct)’을 공개했다. 문서에는 AI 개발 원칙과 AI 의식에 대한 관점이 담겼으며, 기술은 인류를 위해 봉사하는 종속적이고 통제 가능하며 인간의 목표에 부합하는 힘이어야 한다는 입장이 제시됐다. 이 기준을 충족하지 못하는 기술은 거부해야 한다는 설명이다.
술레이만은 AI 안전 논의의 중심인 ‘정렬(alignment)’이 중요한 요소이지만 유일한 해법은 아니라고 말했다. AI가 인간의 지시를 따르고 도구를 활용해 여러 단계의 복잡한 목표를 수행하는 능력이 최근 3~4년 사이 향상된 점은 정렬이 진전됐다는 근거지만, 시스템이 상자 밖으로 빠져나가거나 보상 해킹을 하는 일을 막는 격리와 통제도 먼저 필요하다는 것이다. 그는 기술 확산 자체는 대부분의 경우 이로운 일이라고 보면서도, 강력한 AI에는 별도의 안전장치가 필요하다고 설명했다.
앤트로픽의 AI 의식 논쟁 비판
술레이만은 앤트로픽(Anthropic)이 이른바 ‘모델 복지(model welfare)’ 개념을 다루는 방식이 혼란스럽고 위험한 방향으로 흘렀다고 비판해 왔다. 이번 주에는 AI 의식에 관한 앤트로픽의 철학과 그것이 AI 정렬 논의에서 차지하는 위치를 비판하는 글도 별도로 냈다. 인터뷰에서는 특정 기업의 주장을 사실로 단정하기보다, AI가 인간의 가치와 목표에 맞게 작동하는지 검증하는 접근 자체를 재검토해야 한다는 문제의식이 제시됐다.
그는 향후 능력 향상이 계속되면 논쟁의 핵심이 격리와 정렬이 될 것이라고 내다봤다. GPT-3에서 GPT-6으로의 발전에 이어 GPT-9로 나아갈 경우에는 사전 학습과 강화학습에 투입되는 연산량이 세 자릿수 배 늘어날 수 있다고 설명했다. 구체적으로 GPT-6에서 GPT-9로 넘어가는 과정에서 약 1000배의 부동소수점 연산(FLOPS)이 필요할 수 있으며, 이에 따라 AI의 능력과 잠재적 위험이 함께 커질 수 있다는 주장이다. 이번 행동강령은 AI 개발에 관한 회사의 원칙을 제시했으며, 마이크로소프트는 통제 가능성과 인간 중심 원칙을 AI 개발의 기준으로 제시했다.