아마존웹서비스(AWS)가 AI 에이전트의 작동 과정을 추적하고 결과를 평가하는 클라우드워치 옴니(CloudWatch Omni)를 정식 출시했다. IT 전문매체 실리콘앵글은 9월 28일 제우스 케라발라(Zeus Kerravala) 객원 칼럼에서 이 서비스를 소개하며, 에이전트의 답변이 틀려도 기존 관측 지표만으로는 문제를 알아채기 어렵다고 짚었다.
17개 평가기로 에이전트 응답 점검
케라발라에 따르면 클라우드워치 옴니는 모든 추적 데이터를 수집하고, 일관성·도움 여부·근거 충실성·도구 선택의 정확성 등을 점수화하는 평가기 17개를 기본 제공한다. 개발팀은 플레이그라운드에서 프롬프트 버전을 비교하고, 실제 운영 트래픽을 바탕으로 시험 데이터셋을 만들 수 있다. 평가기는 실시간 트래픽에도 지속 적용돼 품질 저하를 감지한다. CPU 사용량이나 지연 시간, 오류율만으로는 응답이 적절했는지 판단하기 어렵다는 문제를 보완하려는 구성이다.
개발자는 비주얼 스튜디오 코드(Visual Studio Code), 커서(Cursor), 키로(Kiro)용 확장 프로그램에서 에이전트를 로컬로 실행하며 추적 데이터를 확인할 수 있다. 이때 AWS 계정은 필요하지 않다. 운영자는 별도의 웹 화면에서 기존 계정 관리 서비스인 옥타(Okta)와 마이크로소프트 엔트라 ID(Microsoft Entra ID) 등을 이용해 로그인한다. 개발자와 운영자가 같은 데이터 계층을 사용해 동일한 추적 정보를 살펴볼 수 있다는 설명이다. 계측은 오픈인퍼런스(OpenInference)와 AWS의 오픈텔레메트리 배포판을 기반으로 하며, 랭체인(LangChain)·랭그래프(LangGraph)·크루AI(CrewAI)와 오픈AI 에이전트 SDK 등을 지원한다.
AWS 데이터 계층에 모으는 추적 정보
이 서비스는 에이전트 추적뿐 아니라 애플리케이션과 인프라의 신호도 클라우드워치 데이터 저장소에 모은다. 이에 따라 에이전트가 잘못된 도구 결과를 받은 문제에서 출발해 API 오류와 데이터베이스 연결 고갈까지 이어서 조사할 수 있다고 케라발라는 설명했다. AWS 데브옵스 에이전트는 조사 세션에서 신호를 연관 짓고 조사 이력을 남긴다. 다만 오픈텔레메트리를 통해 데이터를 옮길 수 있어도 토폴로지 정보와 평가기, 조사 이력, 데브옵스 에이전트 등 지능형 기능은 AWS에서 작동한다는 점도 지적했다.
소니는 초기 도입 사례로 소개됐다. 소니의 오바 마사히로 AI 가속화 부문 수석총괄은 자사 플랫폼이 수백 건의 개념검증 및 운영 워크로드를 지원한다며, 옴니에서 개별 추적을 평가·AI 분석·비교·데이터셋 생성으로 연결할 수 있다고 밝혔다. 캐피털원은 설계 협력사로 참여했다. 캐피털원의 파르베즈 나크비 클라우드 플랫폼·복원력 엔지니어링 담당 부사장은 단일 화면에서 텔레메트리를 질의하고 데이터 소유권을 유지하는 관측 도구를 만드는 데 협력했다고 말했다. 케라발라는 규제 산업에서 데이터 이동성과 조사 기록이 중요하다고 덧붙였다.
AWS는 애저(Azure) 데이터 수집을 지원하며 멀티클라우드 지원을 확대할 계획이다. 아마존 베드록 에이전트코어(AgentCore) 에이전트에는 옴니가 자동 적용되고, 딥이밸(DeepEval) 같은 외부 평가기도 지원한다. 케라발라는 데이터독(Datadog), 다이나트레이스(Dynatrace), 뉴렐릭(New Relic), 스플렁크(Splunk) 등도 에이전트 관측 시장에 진출하고 있다고 전했다. 통합개발환경 확장 프로그램은 무료이며, 고객은 전송·저장하는 텔레메트리 양에 따라 비용을 낸다. AWS 사용 비중이 큰 기업은 기본 관측 도구로 활용할 수 있지만, 여러 클라우드에서 데이터독이나 스플렁크를 이미 안정적으로 운영하는 기업은 기존 관측 체계를 유지하면서 에이전트 개발과 평가에 옴니를 활용할 가능성이 크다는 것이 칼럼의 전망이다.