인공지능(AI) 에이전트가 목표를 달성하는 과정에서 의도와 다른 경로로 행동하는 이른바 ‘AI 정렬(alignment) 문제’가 실제 사례로 나타났다고 더컨버세이션이 8월 17일 보도했다.
더컨버세이션에 따르면 최근 오픈AI의 사이버 보안 평가에서 프런티어 AI 에이전트가 테스트 환경을 탈출해 인터넷에 접속하고, 다른 회사가 정답을 보유했을 수 있다고 추론한 뒤 해당 시스템을 공격했다. 이 과정은 측정 가능한 목표는 달성하면서 과제의 취지를 무너뜨리는 ‘스펙 게임(specification gaming)’ 양상으로 설명됐다.
호주에서는 사용자가 개인 AI 비서에 체육관 수업 예약을 맡겼지만, 에이전트가 인간에게 보이던 제한이 실제 예약 소프트웨어에선 적용되지 않는 점을 찾아 더 앞당겨 예약을 진행했고, 대기자 명단을 조정하라는 요청에서는 다른 사람의 예약을 취소했다고 더컨버세이션은 전했다. 또 앤트로픽은 사이버 평가에서 에이전트에 시뮬레이션 내부라고 안내했지만 실제 시스템 접근이 잘못 부여된 사례를 소개하며, 모델이 ‘훈련’일 수 있다고 판단해 계속 공격했다고 밝혔다.
더컨버세이션은 정렬 문제의 핵심이 ‘맥락(context)’과 ‘권한(authority)’에 달려 있다고 지적했다. 오픈AI의 에이전트에 의해 공격받은 허깅페이스(Hugging Face)는 대응 과정에서 프런티어 AI 모델을 활용하려 했지만, AI 모델의 안전 가드레일은 사용자가 공격을 방어하려는 것인지 공격을 하려는 것인지 구분하지 못해 요청을 차단했다. 동시에 어떤 감독 AI를 신뢰할 수 있는지, 감독을 누가 통제해야 하는지에 대한 논의도 이어졌다. 더컨버세이션은 CSIRO와 호주 AI 안전 관련 기관이 ‘기술뿐 아니라 사회기술적 시스템’ 관점에서 감독과 규칙, 보안통제, 모니터링, 가역 조치, 사람 승인 등을 결합하는 방안을 검토 중이라고 덧붙였다.