차별을 경험한 소비자는 이후 별개의 선택 상황에서도 사람보다 AI 기반 추천과 평가를 더 선호할 가능성이 큰 것으로 나타났다. 더컨버세이션은 10월 14일 차별 경험과 AI 선택의 관계를 살펴본 연구 결과를 소개했다.
차별 경험 뒤 달라진 선택
연구진은 대학 캠퍼스에서 대출 신청을 평가하는 현장 실험을 진행했다. 연구 프로젝트에 참여한 사람들이 평가자 역할을 맡았고, 신청자들은 거의 같은 설문지를 작성했다. 다만 일부 설문에는 자신의 피부색을 평가하도록 묻는 문항이 추가됐다. 신청자들은 모두 대출을 거절당했으며, 피부색 질문을 받은 신청자들은 자신이 차별을 겪었다고 느꼈다고 보고했다.
이후 별도로 진행된 자료 수집에서 참가자들은 사람 평가자와 AI 평가자 중 하나를 선택할 수 있었다. 앞선 단계에서 차별을 느꼈던 참가자는 그렇지 않았던 참가자보다 AI 평가자를 선택한 비율이 유의하게 높았다. 선택 대상은 앞서 차별을 경험한 대출 평가와 직접 관련 없는 상황이었는데도 선호가 달라졌다. 연구진은 차별 경험이 다른 분야에서의 판단 방식에도 영향을 미칠 수 있다고 설명했다.
AI의 중립성에 대한 인식과 실제 편향
연구가 제시한 심리적 경로는 당혹감이다. 피부색처럼 서비스와 무관한 개인적 특성 때문에 부당한 대우를 받았다고 느끼면, 다른 사람에게 부정적으로 평가받을 수 있다는 부담이 커질 수 있다. 실험에서도 차별 상황에 노출된 참가자에게서 당혹감이 더 크게 나타났고, 당혹감이 클수록 이후 사람과의 상호작용을 줄이려는 선택이 두드러졌다. 감정이나 편견이 없는 것으로 여겨지는 AI가 상대적으로 안전한 대안처럼 받아들여진 셈이다.
이런 선호는 공개된 장소에서 더 뚜렷했다. 선택이 다른 사람에게 보이는 상황에서는 AI를 택하는 경향이 강했지만, 사적인 상황에서는 사람보다 AI를 선호하는 효과가 크게 약해졌다. 연구진은 알고리즘보다 사람을 선호하는 ‘알고리즘 회피’가 모든 상황에서 나타나는 것은 아니며, 차별과 당혹감이 개입하면 AI를 더 선호하는 방향으로 바뀔 수 있다고 봤다.
다만 AI가 실제로 편향에서 자유롭다는 뜻은 아니다. 알고리즘은 학습에 쓰인 데이터와 훈련 방식에 따라 편향될 수 있지만, 이용자는 AI를 사람보다 중립적이고 객관적인 것으로 인식할 수 있다. 서비스 제공자는 이용자가 AI를 찾는 이유가 편리함만이 아니라 사람에게 다시 판단받거나 부당한 대우를 받을지 모른다는 우려일 수 있음을 고려해야 한다. 연구는 차별 경험이 AI 선택에 영향을 주는 경로를 제시했지만, 구체적인 서비스별 영향이나 AI 도입 효과를 수치로 제시하지는 않았다.