베이즈텐(Baseten)이 오픈 웨이트 AI 모델의 안전성 평가와 모니터링을 위한 인프라 표준을 개발하기 위해 허깅페이스(Hugging Face), 굿파이어 AI(Goodfire AI)와 협력한다. 연구 조직 베이스 랩스(Base Labs)를 중심으로 모델 학습과 배포 과정에 안전 기능을 내장하는 방안을 마련할 계획이다.
테크크런치는 9월 18일 베이즈텐이 베이스 랩스와 함께 새로운 안전 인프라 표준을 출범시키고 허깅페이스, 굿파이어 AI와 협력한다고 보도했다. 이번 협력은 오픈 웨이트 모델의 안전장치를 제거하는 이른바 ‘애블리레이션(abliteration)’ 기법이 확산하는 가운데 나왔다.
오픈 웨이트 모델 안전 표준 개발
허깅페이스가 호스팅하는 오픈소스 AI 모델 목록에는 현재 애블리레이션 모델이 6000개 넘게 올라와 있다. 애블리레이션은 모델의 안전장치를 제거해 유해한 응답을 내놓을 가능성을 높이는 방식으로, 오픈 웨이트 모델의 공개성과 안전성 사이의 긴장을 보여주는 사례로 거론된다. 베이스 랩스는 올해 초 베이즈텐이 설립한 연구 조직으로, 앞으로 오픈 모델을 학습하고 모니터링하는 방법을 개발해 공개할 예정이다.
이번 구상의 핵심은 안전 조치를 모델이 만들어진 뒤 별도로 덧붙이는 방식이 아니라 학습과 배포 과정에 투명하게 포함하는 데 있다. 베이즈텐은 X에서 “AI 안전성에는 개방성이 이점이 될 수 있다”며 오픈 모델이 동작을 더 잘 들여다볼 수 있고, 안전성 연구를 투명하고 실행 가능한 통제 수단으로 전환할 여지가 크다고 밝혔다. 다만 세 회사는 평가와 모니터링 기술을 어떤 방식으로 결합할지 공개하지 않았다.
굿파이어 해석 기술과 개발자 생태계
굿파이어 AI는 AI 모델이 결정을 내리는 과정을 설명하는 해석 가능성 플랫폼을 개발하는 기업이다. 굿파이어 AI는 베이즈텐의 발표에 대한 답변에서 “안전성은 오픈 모델에 내장돼야 하며 이를 서비스하는 주체가 제공해야 한다”고 설명했다. 이에 따라 굿파이어 AI는 모델의 내부 작동을 분석하는 기술을 활용해 안전 기능을 모델에 내장하는 역할을 맡을 가능성이 있지만, 구체적인 역할 분담은 아직 정해지지 않았다.
베이즈텐은 AI 추론 서비스 업체로, 6월 15억달러 규모의 시리즈F 투자를 유치해 기업가치가 130억달러로 올랐다. 협력사 굿파이어 AI도 올해 초 B캐피털이 주도한 1억5000만달러 규모의 시리즈B 투자를 받았다. 베이즈텐은 앞으로 개발자 생태계 전반에 프레임워크 구축을 위한 참여를 공개적으로 요청하고, 안전하고 접근 가능한 오픈 모델 생태계를 만들겠다고 밝혔다.