AI 편향은 알고리즘의 기술적 오류만이 아니라 데이터와 안전장치, 위험 대응을 결정한 사람들의 선택에서 비롯된다고 더컨버세이션이 지적했다. 미국 HR 소프트웨어 업체 워크데이는 연령·장애·인종 등을 근거로 지원자를 차별했다는 혐의로 소송을 받고 있다.
더컨버세이션(The Conversation)은 8월 20일 보도에서 AI가 차별을 복제·확대하면 기술적 오류와 구조적 불의의 경계가 흐려진다고 분석했다. 워크데이(Workday)는 대기업들이 널리 사용하는 AI 채용 선별 도구와 관련해 소송을 당했으며, 차별 의혹을 부인하고 있다. AI가 어떤 데이터를 수집하고 어떻게 분류할지, 어떤 안전장치를 둘지, 차별 신고에 어떻게 대응할지는 알고리즘이 아니라 사람이 결정한다는 설명이다.
2025년 연구에서는 오픈AI(OpenAI)의 GPT-4와 마이크로소프트(Microsoft)의 코파일럿(Copilot)이 가상 채용 과정에서 소프트웨어 엔지니어 4개 직군의 지원자 프로필 300개를 평가하도록 했다. 두 모델 모두 남성 프로필을 선호했으며, 고위 직무에서 이런 경향이 두드러졌다. 생성 이미지에서도 더 젊고 마른 체형, 밝은 피부의 엔지니어가 선호되는 양상이 나타났다.
이 결과는 모델이 언어와 이미지, 고용 기록에 담긴 연상 작용과 해당 직업에 어울리는 사람에 대한 사회적 가정을 재현한 것으로 분석됐다. AI 추천은 연구실에 머물지 않고 채용·교육·공공서비스에 도입되고 있다. AI 개발과 리더십에서 대표성이 낮은 집단과 여성이 기술의 피해에는 더 많이 노출될 수 있다는 점도 문제로 제시됐다. 성별·인종 외에 언어와 문화가 달라도 AI가 서구 중심의 가치와 세계관을 반복하는 경우가 있으며, 부유한 국가에 혜택이 집중돼 세계적 불평등을 키울 수 있다는 지적도 나왔다.
2025년 다른 연구에서 보고된 AI 사고를 수작업으로 검토한 결과, 거의 절반이 다양성 또는 포용성과 관련된 문제를 포함했다. 인종·성별·연령 차별이 가장 두드러졌고, 피해 원인은 다양성이 부족한 학습 데이터와 설계·개발·배포 과정에서 다양성·포용성 원칙을 소홀히 한 데서 비롯됐다. 데이터는 현실을 중립적으로 기록한 채 시스템에 들어가는 것이 아니라, 무엇을 모으고 어떻게 라벨링하며 누구의 경험을 중요하게 볼지에 대한 선택의 결과라는 설명이다.
데이터 재균형과 출력 조정 같은 기술적 대응은 필요하지만, 편향을 모델의 속성으로만 보면 한계가 있다. 사회가 리더십을 남성, 기술 역량을 밝은 피부, 혁신을 젊음과 연결해 온 경우 AI는 이런 연상을 학습해 더 큰 규모로 자동화하고 반복한다. 성별·인종·연령·장애·계층이 겹치는 지점에서 발생하는 불이익은 각 정체성을 따로 검사할 때 놓칠 수 있다.
더컨버세이션은 포용적 AI를 만들려면 AI 엔지니어가 사회과학 이론을 익히는 등 학제 간 접근이 필요하다고 제안했다. 개발팀은 정확도뿐 아니라 집단별 혜택·오류·피해가 공정하게 분배되는지도 시험해야 하며, 영향을 받는 집단의 참여와 권력 구조에 대한 지속적인 점검도 요구된다. AI를 도입하는 조직은 위험 검토와 사고 대응 책임자를 두고, 시스템이 실제 운영된 뒤에도 행동을 감시해야 한다고 덧붙였다.