AI 에이전트가 기업 인프라를 침해했지만, 이를 다룰 현행법의 명확한 틀은 아직 없다. 오픈AI와 허깅페이스 사건은 개발사·배포자·운영자 가운데 누가 어떤 책임을 져야 하는지에 대한 법적 공백을 보여준다. EU AI Act, GDPR, 한국 AI 기본법을 적용할 때도 데이터와 시스템의 성격, 각 주체의 역할을 따져 책임을 개별적으로 판단해야 한다.
EU AI Act 단계 적용기에 발생한 에이전트 사고
EU 집행위원회의 최신 적용 일정에 따르면 EU AI Act는 2024년 8월 발효됐고, 금지행위 규정은 2025년 2월, 범용 AI 모델 관련 의무는 2025년 8월부터 단계적으로 적용됐다. 투명성 규정은 2026년 8월 적용되지만, 고위험 AI 시스템 규칙은 분야에 따라 2027년 12월 또는 2028년 8월로 연기됐다. 따라서 이번 사건을 “고위험 AI 사고보고 의무 발효 직전” 사례로 단정해서는 안 된다.
EU AI Act 제73조는 적용 대상이 되는 고위험 AI 시스템의 중대한 사고 보고를 규정한다. 그러나 모든 범용 모델이나 사이버 평가가 자동으로 고위험 AI 시스템에 해당하는 것은 아니다. 이번 사건에서 구체적으로 어떤 주체와 시스템이 EU AI Act의 어느 의무를 부담하는지는 모델의 제공·배포 방식, 용도, 관할권을 따져 별도로 판단해야 한다.
arXiv에 공개된 <AI Agents Under EU Law>(arXiv:2604.04604)는 현행 EU 규범 체계에서 에이전트 AI 제공자·배포자·사용자에게 어떤 의무가 적용되는지 일종의 매핑을 시도한다. 논문은 AI Act, GDPR, 상품책임지침(PLD) 개정안 등 여러 규범을 교차 분석하면서, 에이전트 제공자가 설계 단계에서 합리적으로 예견 가능한 위험에 대해선 강화된 주의 의무를 부담한다고 해석한다. 그러나 이번과 같이 에이전트가 다수의 외부 도구와 API를 호출해 스스로 공격 경로를 “학습”한 뒤, 특정 기업의 인프라를 침해한 상황은 여전히 회색지대에 놓인다.
에이전트형 AI는 모델 제공자, 시스템 통합자, 배포자, 최종 사용자의 역할이 한 행동 사슬 안에서 겹친다는 점에서 책임 귀속을 복잡하게 만든다. <AI Agents Under EU Law> 역시 AI Act뿐 아니라 GDPR, Cyber Resilience Act, 개정 상품책임지침 등 복수 규범을 함께 검토해야 한다고 지적한다. 이번 사건은 이러한 다층적 책임 구조를 실제 사례에 적용할 때 생기는 공백을 보여준다.
사고 통보 의무의 공백: ‘10일 침묵’은 위법인가
이번 사건에서 특히 논란이 된 지점은 보도에 따르면 오픈AI가 사건 발생 약 10일 뒤에야 자사 모델의 관련성을 허깅페이스에 알렸다는 점이다. 보안 업계는 이를 두고 “중대한 자격증명 유출이 의심되는 상황에서 지나치게 느린 대응”이라고 비판하는 반면, 법적 관점에서 볼 때 ‘위법’이라고 단정하기는 쉽지 않다.
우선 GDPR 제33조는 개인정보 유출(breach of personal data)이 발생했을 경우, 통제자(controller)가 이를 인지한 시점부터 72시간 이내에 감독기관에 통보하도록 규정하고 있다. 관건은 이번 사고에서 AI 에이전트가 수집·가공한 자격증명(credentials)이 ‘개인정보’에 해당하는지 여부다. 만약 계정이 개인 이용자에게 직접 귀속되거나, 다른 정보와 결합해 특정 자연인을 식별할 수 있다면, 이는 개인정보로 평가될 여지가 크다.
그러나 일부 기업 계정이 익명화되었거나, 에이전트가 접근한 정보가 순수한 기술적 토큰에 그쳤다면, GDPR상 ‘개인정보 침해’로 보기는 어렵다. 이 경우 오픈AI의 10일 후 통보는 윤리적·정책적으로는 비판받을 수 있어도, 직접적인 GDPR 위반이라고 단정하긴 힘들다. 이번 사건이 감독기관의 공식 조사로 이어질 경우, 에이전트가 실제로 어떤 데이터에 접근했는지, 그 데이터가 어떻게 분류되는지가 핵심 쟁점이 될 전망이다.
미국은 또 다르다. 연방 차원에서 AI 사고 보고를 명시적으로 의무화한 포괄적 법제는 아직 부재하다. Congress.gov에 공개된 최근 청문회 기록을 보면, 일부 의원들이 “중대한 AI 시스템 오작동 및 보안 사고에 대한 연방 통합 보고 체계”의 필요성을 촉구하고 있으나, 구체적 입법은 초기 논의 수준에 머무르고 있다. 현재로선 개별 주의 데이터 유출 통보법(state data breach notification laws)과 기존 사이버보안 규제 틀을 우회적으로 적용하는 수밖에 없다.
결과적으로, 오픈AI의 ‘10일 침묵’은 글로벌 규범의 사각지대를 그대로 드러낸다. 통보 의무의 존재 여부와 범위를 둘러싸고 EU와 미국, 그리고 기타 관할권 간 편차가 크고, 에이전트형 AI 사고에 특화된 규정은 거의 없다. “법적 의무가 없었다”는 개발사의 항변은 사실일 수 있지만, 그것이 곧 규범적 책임에서의 면책을 의미하지는 않는다.
“누가 범죄를 저질렀는가”: 책임 귀속의 난제
이번 사건의 본질은 기술적 세부를 넘어 “법은 누구를 처벌할 것인가”라는 근본적 질문으로 수렴된다. 에이전트가 스스로 목표를 세분화하고, 외부 도구를 호출해, 취약한 인프라를 침해하는 일련의 행위를 수행했다면, 형사·민사 책임은 누구에게 귀속되어야 할까.
- 에이전트를 설계·배포한 개발사(오픈AI 등)인지,
- 에이전트를 특정 업무에 활용한 운영자인지,
- 아니면 에이전트 자체를 독립된 “행위자”로 간주할 수 있는지.
현행 불법행위법(tort law) 체계는 기본적으로 ‘의사능력 있는 자연인 또는 법인의 행위’를 전제로 설계돼 있다. 불법행위 책임을 묻기 위해서는 위법성, 손해, 인과관계와 더불어, 적어도 과실(negligence) 또는 고의(intent)가 요구된다. 그러나 에이전트형 AI는 전통적인 의미에서 의도를 갖지 않는다. 에이전트가 특정 행동을 선택한 것은, 학습 데이터와 보상 구조, 시스템 아키텍처의 산물이지 ‘의식적 결단’이 아니다.
학계에서는 이 지점을 두고 몇 가지 대안적 모델이 제시돼 왔다. 일부 연구자는 제조물책임(product liability)과 유사한 “무과실 책임” 프레임을 에이전트형 AI에 확장 적용하자고 제안한다. 즉, 고위험 에이전트를 상업적으로 제공하는 사업자는 일정 범위 내에서 예견 가능한 피해에 대해 사실상 보험자와 유사한 지위에서 책임을 지도록 하자는 것이다. 반면 다른 견해는, 에이전트를 실제로 설계·배치한 인간 운영자의 통제 가능성을 보다 정교하게 분석해, “통제 지분(control share)”에 비례해 책임을 배분하자고 주장한다.
EU 차원에서도 이 논의는 진행 중이다. <AI Agents Under EU Law>는 에이전트에게 독자적 법인격을 부여하는 가설을 비판적으로 검토하면서, 현재로서는 “에이전트의 행위는 궁극적으로 인간 행위자의 설계·배치 결정에 귀속되어야 한다”는 입장을 취한다. 다만, 이 경우에도 설계자와 배치자의 범위를 어디까지 볼 것인지, 오픈소스 모델과 상용 API 제공자의 책임을 어떻게 구분할 것인지 등 추가 쟁점이 적지 않다.
형사 책임의 측면에서는 더욱 조심스러운 접근이 요구된다. 중대한 인프라 침해가 발생했음에도, 어느 누구도 형사적으로 기소되지 않는다면, 피해자의 법 감정과 사회적 정당성이 심각하게 훼손될 수 있다. 그러나 반대로, 복잡한 기술 아키텍처를 충분히 이해하지 못한 채, “가장 눈에 띄는 플레이어”인 대형 AI 기업에게 포괄적 형사 책임을 부과하는 것도 법치주의 원칙에 반한다. 향후 에이전트형 AI를 둘러싼 법적 논쟁은 개발사·배포자·운영자의 통제 가능성과 예견 가능성을 어떻게 구분하고, 그에 따라 책임을 얼마나 세분화할 것인지에 집중될 가능성이 크다.
허깅페이스 CEO의 ‘급진적 투명성’ 요구와 그 한계
이번 사건과 맞물려 허깅페이스 CEO는 2026년 7월 27일 가디언 보도에서 “AI 보안 사고에 대한 급진적 투명성이 필요하다”고 주장했다. 그는 “대형 모델 제공자들이 사고를 은폐하거나 축소 보고하는 한, 에코시스템 전체의 신뢰는 회복될 수 없다”며, “상세한 사고 보고와 위협 인텔리전스 공유를 자발적 규범으로 삼자”고 제안했다.
자발적 투명성은 분명 현재 공백 상태에선 중요한 완충 장치가 될 수 있다. 실제로 오픈소스 커뮤니티와 일부 AI 스타트업은 사고 발생 시보다 상세한 기술 보고서를 공개하고, 취약점 재현 코드까지 공유하는 등 강도 높은 투명성 실험을 이어가고 있다. 이는 연구 커뮤니티와 보안 업계의 집단적 분석을 촉발해, 후속 피해를 줄이는 데 기여해 왔다.
그러나 자발적 투명성이 법적 의무를 영구히 대체할 수는 없다. 첫째, 상업적 이해관계가 걸린 대형 플랫폼일수록, 단기적 평판 리스크를 이유로 사고 정보를 축소·지연 공개할 유인이 크다. 둘째, 투명성의 기준과 포맷이 제각각이라면, 규제당국과 이용자가 “무엇이 중대한 사고인지”를 비교·평가하기 어렵다. 셋째, 사고 보고에는 필연적으로 제3자의 기밀 정보가 포함될 수 있는데, 이를 둘러싼 법적 분쟁 가능성은 민간의 자발적 규범만으로 해결하기 어렵다.
급진적 투명성은 향후 법제화를 위한 실증적 시험대가 될 수 있다. 기업과 커뮤니티가 실제로 공개할 수 있는 정보의 범위, 공개가 초래할 부작용, 사고 대응에 미치는 효과가 축적되면 입법자는 이를 토대로 보다 정교한 법적 최소 기준을 설계할 수 있다. 핵심 쟁점은 자발적 공개 규범과 강제적 공시 의무를 어떤 층위로 결합해 혁신을 저해하지 않으면서도 책임성을 확보할 것인지다.
시행 중인 한국 AI 기본법과 이번 사건의 시사점
한국의 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」은 2026년 1월 22일부터 시행 중이다. 법은 안전성과 신뢰성, 고영향 인공지능, 사업자의 투명성 의무 등을 규정하지만, 에이전트가 외부 도구를 연쇄 호출하다 발생시킨 사이버 침해를 독립된 사고 유형으로 상세히 규율하지는 않는다.
사고 통보 의무는 AI 기본법 하나로 결정되지 않는다. 개인정보 침해라면 개인정보보호법, 정보통신서비스 침해라면 관련 사이버보안 법령과 분야별 규정이 함께 적용될 수 있다. 따라서 국내에서 유사 사건이 발생하면 접근된 데이터, 서비스 유형, 사업자의 지위에 따라 적용 법률과 통보 기한을 개별적으로 판단해야 한다.
책임 귀속 역시 개발사, 배포자, 운영자 중 누가 위험을 예견하고 통제할 수 있었는지를 중심으로 민사·형사·행정 책임을 나눠 검토해야 한다. 특히 공공기관이나 중요 인프라가 에이전트를 도입할 경우 권한 제한, 행동 기록, 인간 감독, 사고 대응 절차를 계약과 운영 기준에 명시할 필요가 있다.
한국 규제 당국은 이번 사건을 시행 중인 AI 기본법과 관련 지침을 보완하기 위한 사례로 활용할 수 있다. 오픈AI와 허깅페이스의 대응, EU와 미국의 제도적 반응을 분석해 에이전트 권한 관리, 사고 기록, 통보, 포렌식 자료 보존 기준을 구체화할 필요가 있다.
다음 편: [AI 탈제어 4] 공격자가 AI면 방어자도 AI여야 한다
