오픈AI, 챗GPT 성능 저하 조사·회복 확인 자동화 시스템 구축

이 기사는 AI가 원문을 바탕으로 작성했습니다. 출처 선정과 발행 기준은 편집부가 관리합니다. AI 활용 원칙

오픈AI(OpenAI)가 챗GPT(ChatGPT)의 성능 저하를 찾아 원인을 조사하고 수정안을 제안한 뒤 복구 여부까지 확인하는 클라우드 시스템 ‘퍼포먼스 팩토리’를 구축했다. 오픈AI는 11월 19일 공식 블로그에서 코덱스(Codex)와 자사 모델을 활용해 성능 문제 처리 과정을 자동화했다고 밝혔다.

성능 저하 조사 1700건 넘어

퍼포먼스 팩토리의 첫 업무 흐름인 ‘회귀 워크플로’는 성능 경보가 발생하면 자동으로 작업을 열고 에이전트가 지연 원인을 조사하도록 설계됐다. 에이전트는 조사 결과를 작업에 기록하고 수정안을 제시하며, 엔지니어가 이를 검토해 배포하면 다른 에이전트가 같은 작업을 이어받아 성능이 기존 수준으로 돌아왔는지 확인한다. 오픈AI는 이 워크플로가 가동된 지 3개월이 조금 넘는 동안 1700건이 넘는 조사를 추적하고 600건이 넘는 사례에서 근본 원인을 파악했다고 설명했다. 회사가 제시한 하루 평균 자동 조사 건수는 17건이다.

이 수치는 자동으로 수정이 끝난 문제의 수가 아니라 조사 대상으로 추적한 건수와 원인을 파악한 사례를 가리킨다. 시스템은 수정안을 제시하지만 엔지니어의 검토와 배포가 이어져야 하며, 배포 뒤에는 별도 에이전트가 성능 회복을 확인한다. 따라서 조사부터 검증까지 절차를 자동화했다는 설명은 사람이 전혀 개입하지 않는다는 뜻이 아니다. 오픈AI는 챗GPT의 첫 토큰 응답 시간 지연이나 서비스 가용성 저하 같은 문제를 주요 적용 사례로 들었다.

수동 분석에서 작업 흐름 자동화로

오픈AI에 따르면 코덱스를 쓰기 전에는 엔지니어가 성능 지표와 로그를 직접 살피고, 추적 정보를 비교하거나 실제 운영 서버를 디버깅해 지연 원인을 찾았다. 반복되는 문제를 더 쉽게 조사하려고 CPU와 메모리 할당량 분석기 같은 도구를 만들었고, 성능 관련 도구가 30개를 넘었다. 코덱스 도입 뒤에는 대규모 코드 저장소와 지표, 추적 정보를 살펴보며 서비스 간 상호작용을 조사할 수 있었지만, 엔지니어가 사용할 도구와 조사 방향을 정해야 했다. 이후 조사 절차를 ‘퍼프 포렌식스’라는 공용 스킬에 담아 코덱스가 지연 시작 시점과 영향받은 요청, 배포·설정 변경 여부를 확인하도록 했다.

퍼포먼스 팩토리는 이런 스킬을 이용한 조사에서 한 걸음 더 나아가 작업의 상태와 다음 단계를 관리한다. 오픈AI가 소개한 구성 요소는 작업 흐름을 설정하는 작업 추적 서비스, 준비된 일을 에이전트에 배정하는 분배 절차, 클라우드에서 코덱스를 실행하는 API, 깃허브(GitHub) 검토 의견 게시나 배포 완료 같은 변경을 감지해 에이전트를 깨우는 구독 기능이다. 작업에 조사 결과와 진행 상태를 남겨 에이전트와 엔지니어가 일을 이어받고, 코드 검토나 배포가 끝난 뒤에도 다음 단계부터 재개할 수 있다는 설명이다.

과거에는 경보 내용을 엔지니어가 코덱스에 복사해 조사시키고 결과를 슬랙에 옮겨야 했다. 이후 클라우드에서 경보에 따라 조사를 시작하도록 바뀌었지만, 수정안 작성과 배포 후 확인은 여전히 사람이 맡았고 여러 경보가 쌓이면 처리할 문제를 골라내는 일도 필요했다. 새 시스템에서는 조사, 수정안 검토, 배포 뒤 복구 확인을 하나의 작업 흐름으로 연결한다. 오픈AI는 공통적인 성능 개선 작업도 서비스 전반에서 반복 실행하는 워크플로로 만들 수 있다고 밝혔다.

RELATED ARTICLES

RECOMMENDED STORIES