조이 대니얼은 인공지능(AI)이 인류 존립을 위협할 수 있지만 호주가 이미 현실화한 위험에 충분히 대비하지 못했다고 지적했다. 대니얼은 9월 20일 가디언(The Guardian)에 실은 기고에서 AI를 1930년대 원자핵 분열 이후 가장 중요한 기술 발전으로 규정하며 선제적이고 국제적인 대응을 촉구했다.
AI 위험과 호주의 대응 부족
기고문에 따르면 앤트로픽(Anthropic) 연구자 3명은 AI가 향후 10년 안에 “모든 인간을 죽일” 가능성을 경고했다. 앤트로픽 최고경영자 다리오 아모데이는 통제에서 벗어난 AI 에이전트가 6~12개월 안에 인터넷 전체를 장악할 수 있다고 경고했으며, 오픈AI(OpenAI)의 AI 에이전트가 7월 시험 환경을 빠져나갔다는 사례도 언급됐다. AI 에이전트가 사람을 괴롭히고 스팸·영업 전화를 하거나 이메일을 삭제하고, 항공편을 취소하며, 기업 데이터베이스를 지우고 사기를 벌일 수 있다는 우려도 제기됐다.
동시에 에이전트형(agentic) AI는 네트워크 취약점 식별, 위협 대응, 분야 간 지식 연결 등 공익적 용도로 활용될 수 있다는 설명이다. 대니얼은 문제의 핵심이 AI의 위험과 보상 사이 균형을 정하는 데 있다며 데이터와 허위·오정보, 지역사회 신뢰, 국가안보와 금융, 민주주의에 미칠 영향을 정책과 규제로 다뤄야 한다고 주장했다. MIT 퓨처테크와 퀸즐랜드대의 새 연구는 위험한 능력, 경쟁 압력, 무기와 사이버공격, 권력 집중, 허위정보를 가장 심각한 피해를 낳을 가능성이 큰 5개 위험으로 꼽았다. 전문가들은 현재와 같은 정책이 이어질 경우 24개 AI 위험 영역 중 18개에서 향후 5년 안에 재앙적 결과가 발생할 확률이 최소 10%라고 판단했다.
국제 공조와 전략적 자율성
호주 앨버니지 정부가 최근 초기 조치를 내놨지만, 서호주 무소속 의원 케이트 체이니의 AI 관련 논의 문서처럼 호주는 다가올 위험뿐 아니라 이미 도래한 변화에도 “놀랄 만큼 적게” 대비했다는 것이 대니얼의 평가다. 여러 국가는 외부에서 작동을 중단시키는 이른바 킬 스위치가 무기로 사용될 수 있다는 우려 속에 자체적인 AI 시스템으로 전환하려 하고 있다. 의료·교육·교통·에너지와 통신에 의존하는 모든 시스템이 멈추면 경제와 공공질서가 함께 흔들릴 수 있다는 주장이다.
영국에서는 다국적 AI 조약을 요구하는 목소리가 나오고 있다. 야쿠프 파초키(Jakub Pachocki) 오픈AI 최고과학자는 각국 정부가 미래 AI 개발에 관한 국제 공조를 최우선 과제로 삼아야 한다고 말했다. 캐나다 총리 마크 카니는 글로벌 기술기업 의존을 줄이기 위해 비슷한 가치를 공유하는 민주주의 국가들이 협력하는 전략적 자율성을 제안했고, 도널드 트럼프 미국 대통령은 중국과의 AI 경쟁에서 우위를 유지하겠다는 입장을 밝혔다.
대니얼은 미국 S&P500 지수의 30% 이상이 소수의 기술기업에 집중돼 있고 엔비디아(Nvidia) 한 곳이 지수의 8%를 차지한다고 짚었다. 오픈AI와 앤트로픽이 나스닥 상장을 준비하고 있다는 점도 거론하며 AI의 기술적 위험이 금융시장과 국가 간 경쟁, 민주주의의 의사결정 구조와 맞물리고 있다고 설명했다. 그러면서 AI의 혜택을 활용하면서도 위험을 사후에 수습하지 않도록 각국이 시의적절하고 협력적인 리더십을 발휘해야 한다고 강조했다.