핵심 요약
AI 요약
기사 목차 펼치기 / 접기
인공지능(AI)이 사람을 대신해 직접 업무를 수행할 때 인간은 언제 개입해야 할까.
영국 통신기업 BT와 커피 체인 코스타커피(Costa Coffee), 글로벌 회계·컨설팅 기업 프라이스워터하우스쿠퍼스(PwC)의 경영진은 최근 대담에서 이 문제를 집중적으로 논의했다. 특히 AI가 직접 행동하는 상황에서 인간에게 어떤 감독 권한을 부여할지, 감독이 실제로 작동하려면 어떤 조건을 갖춰야 하는지가 쟁점이었다.
정보기술 전문매체 CIO닷컴은 11월 2일 “AI 에이전트의 등장으로 기업이 모델의 정확성뿐 아니라 AI에 허용할 행동과 자율성, 인간의 개입 시점을 결정해야 한다”는 취지의 대담을 공개했다. PwC 영국의 리 베이츠(Leigh Bates) AI 전환 책임자와 BT의 톰 미킨(Tom Meakin) 최고전략변화책임자가 참여했다.
같은 날 공개된 CIO닷컴의 별도 대담에는 코스타커피의 케이티 월리스(Katy Wallace) 최고디지털정보책임자와 PwC 영국의 클레어 리드(Claire Reid) 최고기술혁신책임자가 참여했다. 두 사람은 “사람이 AI 결과물을 검토하더라도 그럴듯한 답변을 지나치게 신뢰할 수 있으며, 업무 위험에 맞는 통제 절차가 필요하다”고 제안했다.
전문가들은 세 가지 기준을 제시했다. 업무의 위험이 얼마나 큰지, AI의 결정을 되돌릴 수 있는지, AI에 어디까지 행동 권한을 허용했는지다. 위험이 큰 결정에는 사람이 사전에 개입하고, 자율 실행이 허용된 업무에서도 AI가 정해진 권한을 벗어나거나 인간의 판단이 필요한 상황에 직면하면 개입하도록 설계해야 한다는 것이다.
두 대담은 PwC가 후원한 AI 거버넌스 팟캐스트 시리즈의 제3편과 제2편이다.
AI가 행동하기 전 승인할 것인가, 실행 중 감독할 것인가
베이츠는 BT의 미킨과 진행한 대담에서 “AI 에이전트가 등장하면서 기업은 모델의 정확성뿐 아니라 AI에 어떤 행동을 허용하고 어느 정도의 자율성을 부여할지 결정해야 한다”고 강조했다.
베이츠가 제기한 문제는 AI가 업무를 직접 실행할 때 인간이 어느 단계에서 개입하고 어떤 권한을 행사해야 하는가에 관한 것이다.
AI 시스템에 대한 인간의 감독 방식은 크게 인간 참여형(Human-in-the-loop·HITL)과 인간 감독형(Human-on-the-loop·HOTL)으로 나뉜다. 인간 참여형은 AI의 의사결정 과정에 사람이 직접 참여하거나 행동을 승인하는 방식이다. 인간 감독형은 AI가 일정한 자율성을 갖고 작동하도록 허용하되 사람이 운영 상황을 감시하고 필요할 때 개입하는 방식이다.
이러한 구분은 조지워싱턴대의 아디티아 싱(Aditya Singh)과 조이 샤인파버(Zoe Szajnfarber)가 2025년 발표한 미국인공지능학회(AAAI) 심포지엄 논문에서도 다뤘다. 두 연구자는 “인간 참여형과 인간 감독형 등 AI에 대한 인간의 감독 방식을 구분하고, 각 방식에서 인간의 역할과 통제 구조를 분석했다”고 설명했다.
베이츠가 강조한 AI의 행동 권한과 자율성은 바로 이러한 감독 방식의 선택과 관련된다. AI의 모든 행동을 사람이 승인할지, 일정한 범위에서 자율 실행을 허용하고 사람이 감독할지에 따라 인간의 개입 시점이 달라지기 때문이다.
리드 “적절한 통제와 위험 기반 접근 필요”
AI가 행동하기 전에 사람이 승인하도록 하더라도 문제가 모두 해결되는 것은 아니라는 의견도 나왔다.
PwC 영국의 클레어 리드(Claire Reid) 최고기술혁신책임자는 “사람이 업무 경험과 판단을 활용해 AI의 결정을 검토할 수 있지만, 그럴듯한 답변을 지나치게 신뢰할 수도 있다”고 지적했다.
리드는 “AI의 위험을 충분히 관리하고 결과물을 신뢰하려면 적절한 통제 지점과 위험에 기반한 접근법이 필요하다”고 강조했다.
그는 “업무 절차를 다시 설계하고, 직원을 교육하며, 업무 위험에 비례하는 검토 지점을 마련해야 한다”고 세 가지를 제시했다.
리드의 설명은 감독의 실효성을 높이려면 사람이 어느 단계에서 개입할지뿐 아니라 무엇을 검토하고 어떤 판단을 내릴 수 있어야 하는지도 정해야 한다는 데 초점을 맞춘 것으로 이해됐다.
월리스 “AI 구축 전에 데이터 품질과 보안 확보해야”
코스타커피의 케이티 월리스(Katy Wallace) 최고디지털정보책임자는 리드와의 대담에서 AI를 도입하기 전에 갖춰야 할 조건을 설명했다.
월리스는 “AI 시스템은 처음부터 거버넌스를 기반으로 설계해야 하며, AI를 구축하기 전에 통제 장치와 데이터 품질, 보안 체계를 갖춰야 한다”고 강조했다.
리드가 AI 운영 과정에서 인간의 검토가 이뤄지는 지점을 강조했다면, 월리스는 그보다 앞선 시스템 설계 단계의 통제를 중시했다.
두 사람은 AI 도입의 성과를 비용 절감과 효율성 향상에만 한정해서는 안 된다는 문제도 논의했다. 기업이 실질적인 사업 성과를 얻으려면 기술 부서와 실제 업무를 담당하는 부서가 함께 참여해야 한다는 것이다.
특히 AI 에이전트가 직접 행동하는 환경에서는 기술적 성능뿐 아니라 업무를 맡기는 부서의 책임과 감독 체계도 중요하다는 문제가 다뤄졌다.
BT 미킨 “기존 업무 개선과 근본적 재설계는 다르다”
BT의 톰 미킨(Tom Meakin) 최고전략변화책임자는 베이츠와의 대담에서 AI 도입에 따른 조직 운영 방식을 소개했다.
미킨은 “기업이 기존 사업을 계속 운영하면서 동시에 업무 절차를 근본적으로 재설계하는 방법을 찾기는 매우 어려울 수 있다”고 말했다.
그는 “BT가 기존 업무를 점진적으로 개선하는 조직과 업무 절차를 새롭게 구상하고 재설계하는 조직을 별도로 운영한다”고 설명했다.
베이츠와 미킨은 이러한 조직 운영과 함께 변화 관리, 지속적인 학습, 피드백, 관련 부서의 참여를 논의했다.
AI 거버넌스, 승인 여부보다 통제의 실효성이 중요
인간 개입의 핵심은 승인 절차의 유무보다 AI의 행동 권한과 위험에 맞는 감독 체계를 갖추는 데 있다고 대담자들은 분석했다. 베이츠는 AI의 자율성을 정하는 문제를, 리드는 인간의 검토가 실질적으로 작동하기 위한 조건을 강조했다. 월리스는 이를 뒷받침할 데이터와 보안 체계를 기술 도입 이전부터 마련해야 한다고 설명했다.
베이츠는 AI 거버넌스를 혁신과 대립하는 요소로 봐서는 안 된다고 강조했다. 그는 “조직이 혁신과 거버넌스를 경쟁 관계로 봐서는 안 된다”며 “거버넌스가 제대로 작동하면 오히려 더 빠르게 혁신하도록 도와야 한다”고 말했다.
Q&A
Q1. 인간 참여형과 인간 감독형은 무엇이 다른가?
인간 참여형(HITL)은 사람이 AI의 의사결정에 직접 참여하거나 행동을 승인하는 방식이다. 인간 감독형(HOTL)은 AI가 자율적으로 작동하는 동안 사람이 감독하고 필요할 때 개입하는 방식이다. 두 개념은 인간의 감독 역할과 개입 시점을 구분하는 데 사용된다.
Q2. 사람이 AI의 결과물을 검토하는데도 왜 위험이 발생하는가?
리드는 “AI가 그럴듯한 답변을 제시하면 사람이 이를 지나치게 신뢰할 수 있다”고 지적했다. 이를 줄이려면 업무 절차 재설계와 직원 교육, 위험에 비례하는 검토 지점이 필요하다고 강조했다.
Q3. AI가 자율적으로 행동하는 기업은 무엇을 먼저 정해야 하는가?
베이츠는 AI에 허용할 행동과 자율성의 수준을 결정해야 한다고 강조했다. 리드는 위험별 검토 지점을, 월리스는 AI 구축 이전의 데이터 품질과 보안, 통제 체계를 각각 강조했다.
