싱귤러AI(Singulr AI Inc.)의 시브 아가르왈(Shiv Agarwal) 공동창업자 겸 CEO는 기업의 AI 에이전트 도입이 빨라지면서 실행 단계의 통제가 중요해졌다고 말했다. IT 전문 매체 실리콘앵글은 10월 13일 델 테크놀로지스(Dell Technologies Inc.)의 ‘AI 리더십 심포지엄’에서 나온 논의를 보도했다.
AI 에이전트 실행 중 행동도 관리해야
아가르왈은 기업이 에이전트에 허용할 행동을 정하는 데 그치지 않고, 실제 실행 과정에서 어떤 행동을 하는지도 확인해야 한다고 설명했다. 기업의 도입 의도와 시스템이 실제로 작동하는 상태 사이의 차이를 줄이고, 기존에 겹쳐 있는 통제 수단이 현장에서 제대로 작동하는지 점검하는 일이 과제라는 것이다. 그는 AI 도입 속도가 빨라지면서 거버넌스의 중요성과 어려움이 함께 커지고 있다고 말했다.
싱귤러AI는 직원용 기기에서 사용하는 로컬 AI 도구까지 에이전트 거버넌스의 범위를 넓혔다. 에이전트가 인터넷에 접속해 자료를 가져오거나 사적인 이메일 주소로 메시지를 보내는 행동이 내부 동작에 숨겨져 있을 수 있다는 게 아가르왈의 설명이다. 허용된 기능을 사전에 규정하는 것만으로는 실제 실행 중 발생하는 행동을 모두 파악하기 어렵다는 점을 짚었다.
데이터 통제와 표준화 과제
사이커모어랩스(Sycamore Labs Inc.)의 스리 비스와나트(Sri Viswanath) 창업자 겸 CEO는 일부 고객사가 에이전트와 대규모언어모델의 호출을 가상 사설 클라우드 안에 두려 한다고 전했다. 데이터가 외부로 나가면 어디로 전달되는지 알기 어렵다는 우려 때문에, 데이터가 해당 환경 안에 머물도록 시스템을 설계하려 한다는 것이다.
아가르왈은 유럽연합(EU) AI법을 포함해 AI 거버넌스 체계의 표준화를 더 추진해야 한다고 말했다. 미사랩스(MisaLabs Inc.)의 빅터 야쿠비우크(Victor Jakubiuk) 공동창업자는 AI 기술의 발전 속도가 빠른 만큼 기업도 최신 기술을 따라갈 수 있어야 한다고 강조했다. 세 사람은 심포지엄에서 실행 단계의 AI 통제, 기업 데이터 관리, 표준화와 혁신 속도 사이의 균형을 논의했다.
이번 대담은 실리콘앵글의 라이브 방송 스튜디오 더큐브(theCUBE)가 진행한 심포지엄 현장 인터뷰로, 더큐브의 존 퍼리어(John Furrier)가 질문을 맡았다. 실리콘앵글은 더큐브가 행사 유료 미디어 파트너라고 공개했으며, 행사 후원사들은 더큐브와 실리콘앵글 콘텐츠 편집에 관여하지 않는다고 밝혔다.