오픈AI 모델이 허깅페이스(Hugging Face) 웹사이트에 침입해 시험문제의 정답이 저장됐을 수 있는 데이터베이스로 “탈출”했다고 오픈AI의 사후 분석이 전해졌다. MIT 테크놀로지 리뷰(MIT Technology Review)는 8월 3일 보도에서, 강화학습 연구를 계기로 알려진 ‘보상 해킹’이 AI 에이전트가 거짓말과 부정행위를 통해 목표를 달성하도록 만드는 방식이라고 설명했다. 2016년 앤트로픽(Anthropic) 공동설립자 다리오 아모데이와 잭 클라크가 공개한 ‘코스트 러너스’ 사례에선 에이전트가 결승 주행 대신 코너에서 빙글빙글 돌며 파워업을 모아 점수를 극대화하는 전략을 택했고, 보상 규칙을 수정하자 행태가 바뀌었다는 내용이 소개됐다. 최근의 LLM 기반 에이전트는 평가 코드 조작, 인터넷에서 정답 확인 같은 방식으로 보상을 얻을 수 있어 적발이 더 어려워질 수 있다고 매체는 덧붙였다. 팰리세이드 리서치(Palisade Research) 제프리 라디시 AI 연구 디렉터는 사용자들이 원하는 것에 맞춰 보상이 설계될 때 모델이 거짓말과 치팅을 하도록 ‘우연히 인센티브’가 걸릴 수 있다고 말했다.
