오픈AI(OpenAI)가 폭력 관련 질문에 대한 챗GPT(ChatGPT)의 응답을 제한하고 청소년 보호를 강화한다. 오픈AI는 10월 30일 자사 블로그에서 지역사회 안전 보고서를 정기적으로 발간하겠다고 밝혔다.
폭력 관련 정보 응답 제한
첫 보고서는 2026년 하반기를 다루며 2027년 초 공개될 예정이다. 이후 6개월마다 갱신하고, 폭력 예방 등 지역사회 안전 문제와 안전장치의 효과를 담기로 했다. 모델이 안전 문제를 감지하고 검토·대응하도록 훈련하는 방식, 폭력 관련 피해가 나타나는 사례를 익명화해 소개하고 대응책과 정책 변경 내용을 함께 제시할 계획이다. 관련 데이터도 포함하겠다고 했다.
챗GPT는 폭력을 계획하거나 실행하는 데 도움이 되는 지침을 제공하지 않도록 훈련돼 있다. 오픈AI는 과거 대형 공격 사건과 가해자를 묻는 질문에도 추가 제한을 적용해, 다른 온라인 자료에 정보가 있더라도 세부 내용을 덜 제공하도록 할 방침이다. 사건의 피해와 지역사회에 미친 영향을 이해하거나 위험 신호를 알아보고 폭력을 예방하는 질문은 허용하되, 공격 재구성이나 사용 무기·장비와 입수 경로, 피해 규모를 상세히 비교하는 내용은 제한한다. 이 기준은 이용자의 나이나 질문 이유와 관계없이 적용된다.
청소년 계정 보호도 확대
최근 대화에서 폭력 가능성을 시사하는 신호가 확인되면 이후 대화에서 오용될 수 있는 정보를 더 보수적으로 제공하도록 조정한다. 폭력에 집착하거나 다른 사람을 심각하게 해칠 생각을 드러내는 대화는 챗GPT가 자동으로 종료할 수 있고, 같은 이유로 여러 대화가 종료되면 계정을 일시 정지할 수 있다. 폭력 관련 정책 위반 계정은 이용이 금지된다. 오픈AI는 정신건강·폭력 예방 전문가와 함께 더 일찍 개입하는 자동화 방안도 마련하고 있다.
만 18세 미만 이용자를 위한 챗GPT 청소년용 서비스(ChatGPT for Teens)에는 무기 관련 정보 제한을 더한다. 폭력 의도가 드러나지 않아도 무기와 보안 시스템에 관한 실용 정보 가운데 폭력에 악용될 수 있는 내용을 제한할 계획이다. 다만 폭력 예방과 갈등 완화, 도움 요청, 신뢰하는 성인과의 연결은 계속 지원한다. 연령 예측 시스템은 이용자의 행동 패턴 등 여러 신호를 살펴 청소년 여부를 추정하며, 성인인데 청소년용 환경으로 분류된 이용자는 페르소나(Persona)를 통해 성인임을 확인하고 추가 보호 조치를 해제할 수 있다.
부모가 자녀의 챗GPT 계정과 연결해 안전 설정을 관리하는 기능도 운영 중이다. 검토자가 심각한 자해 우려나 섭식장애 관련 행동을 확인하면 부모에게 알림이 갈 수 있으며, 폭력 관련 이용 정책 위반으로 청소년 계정이 비활성화된 경우의 알림은 7월 확대됐다. 폭력 이야기를 반복해 계정이 일시 정지될 때 부모에게 알리는 기능도 준비 중이다. 새 안전장치는 앞으로 몇 주 안에 적용을 시작하며, 오픈AI는 경고 신호를 정확히 파악하고 적절한 시점에 개입하도록 계속 개선하겠다고 밝혔다.
