생성형 AI에게 여러 직업에 종사하는 사람의 모습을 만들어 달라고 요청한다고 생각해보자. 별도로 성별을 지정하지 않았는데도 어떤 직업에서는 남성의 모습이, 다른 직업에서는 여성의 모습이 반복해서 등장한다면 흥미로운 질문이 생긴다.

AI는 왜 성별을 지정하지 않은 요청에서도 특정한 선택을 하는 것처럼 보일까?

이 현상을 이해할 때 자주 등장하는 개념이 AI의 젠더 편향(gender bias)이다. 단순하게 말하면 성별과 직접적인 관련이 없는 상황에서도 특정 성별과 직업·역할·특성 등이 반복적으로 연결되는 현상을 생각해볼 수 있다.

다만 AI의 결과 하나만 보고 곧바로 편향이라고 단정하기는 어렵다. 생성 결과에는 학습 데이터부터 사용자의 입력, 모델 설계, 서비스의 추가적인 조정까지 여러 요소가 관여하기 때문이다.

AI의 젠더 편향을 제대로 이해하려면 결과보다 먼저 그 결과가 만들어지는 과정을 살펴볼 필요가 있다.

학습 데이터는 완전히 중립적인 자료가 아니다

AI는 데이터를 이용해 다양한 패턴을 학습한다. 그런데 학습에 사용되는 데이터 자체는 사회와 분리되어 존재하지 않는다.

신문 기사에는 당시 사회에서 중요하게 다뤘던 사건과 인물이 등장한다. 책에는 저자가 살았던 시대의 언어와 문화가 반영된다. 사진 역시 사람들이 무엇을 촬영하고 어떤 설명을 붙였는지에 따라 내용이 달라진다.

따라서 과거 사회에서 특정 직업이나 역할에 한 성별이 많이 등장했다면, 이를 기록한 자료에서도 비슷한 분포가 나타날 가능성이 있다.

예를 들어 과거의 경영 관련 자료에 남성 경영자가 압도적으로 많이 등장했다고 가정해보자. AI가 이러한 자료를 대량으로 학습한다면 ‘경영자’와 남성 관련 표현 사이의 통계적인 관계를 발견할 수 있다.

여기서 중요한 것은 AI가 스스로 “경영자는 남성이어야 한다”고 판단한 것이 아니라는 점이다.

데이터에서 반복적으로 발견된 관계를 학습한 결과일 수 있다.

이 때문에 AI 편향을 이해하려면 모델만 들여다보는 것이 아니라 데이터가 만들어진 시대와 환경까지 함께 생각해야 한다.

데이터의 양보다 ‘어떻게 구성됐는가’도 중요하다

AI 학습에서는 데이터가 많으면 무조건 좋다고 생각하기 쉽다.

하지만 젠더 편향이라는 관점에서는 데이터의 양만큼이나 구성도 중요하다.

가상의 이미지 데이터 10만 장이 있다고 생각해보자. 사진의 숫자만 보면 상당히 큰 자료처럼 느껴진다. 하지만 대부분이 비슷한 국가와 연령대, 직업군에 속한 사람들의 사진이라면 현실의 다양한 사람을 충분히 나타낸다고 보기 어렵다.

텍스트 데이터도 마찬가지다.

자료의 상당 부분이 특정 시대나 문화권에서 만들어졌다면 그 환경에서 사용되던 성별 표현이나 고정관념이 상대적으로 많이 포함될 수 있다.

따라서 데이터의 규모만 보고 다양성을 판단해서는 곤란하다.

어떤 자료에서 수집했는지, 어느 시기의 자료인지, 특정 집단이 지나치게 많이 또는 적게 포함되어 있지는 않은지 등을 함께 살펴볼 필요가 있다.

이런 이유로 AI 개발 과정에서는 데이터의 대표성(representation)이 중요한 문제로 다뤄진다.

과거의 기록이 현재의 AI 결과로 이어질 수 있다

AI와 젠더 문제에서 특히 흥미로운 부분은 시간이다.

AI가 학습하는 데이터에는 현재의 자료뿐 아니라 과거에 만들어진 기록도 포함될 수 있다. 그런데 사회의 직업 구성과 성 역할에 대한 인식은 계속 변화해 왔다.

수십 년 전의 자료에서 흔했던 모습이 현재에는 더 이상 일반적이지 않을 수도 있다.

예를 들어 과거의 특정 직업이 한 성별 중심으로 구성되어 있었다면 당시 사진과 문서에도 그 모습이 많이 남았을 가능성이 높다.

AI 입장에서는 그것이 역사적 상황인지 현재에도 적용되는 일반적인 규칙인지 스스로 구별하는 일이 항상 간단하지 않다.

이 지점에서 데이터의 시간적 맥락이 중요해진다.

과거 자료를 없애야 한다는 의미는 아니다. 역사적인 자료 자체에는 분명한 가치가 있다. 다만 그것을 현재의 상황을 나타내는 자료와 구분하지 않고 사용하는 경우에는 과거의 분포가 현재의 결과에 영향을 미칠 가능성을 고려해야 한다.

결국 AI가 보여주는 결과에는 기술뿐 아니라 우리가 축적해온 기록의 역사도 어느 정도 반영될 수 있다.

사람이 붙인 데이터의 설명도 영향을 줄 수 있다

AI 학습 데이터는 원본 자료만으로 구성되는 것은 아니다.

일부 AI 시스템을 개발할 때는 사진이나 문장에 사람이 분류 정보나 설명을 붙이는 작업이 사용되기도 한다. 흔히 데이터 라벨링이라고 부르는 과정이다.

예를 들어 사진 속 사물에 ‘자동차’, ‘나무’, ‘사람’과 같은 정보를 붙여 AI가 무엇을 보고 있는지 학습하도록 돕는 방식이다.

문제는 사람의 판단 역시 항상 완벽하게 객관적이지 않다는 데 있다.

외모만 보고 사람의 성별을 단정하거나, 특정 행동을 성별과 연결된 특성으로 분류한다면 그 기준 자체가 데이터에 들어갈 수 있다.

그래서 데이터를 구축할 때는 단순히 많은 사람이 참여하는 것만으로 충분하지 않다. 어떤 기준으로 분류하는지, 애매한 경우에는 어떻게 처리하는지, 애초에 해당 정보를 분류해야 하는지까지 고민할 필요가 있다.

특히 젠더처럼 개인의 정체성과 관련된 정보는 겉으로 관찰되는 특징만으로 정확하게 판단하기 어려운 경우가 있다는 점도 고려해야 한다.

편향은 사용 단계에서도 나타날 수 있다

AI 편향의 원인을 모두 학습 데이터 탓으로 돌리는 것도 정확하지 않다.

사용자가 AI에게 어떤 질문을 하는지에 따라 결과가 달라질 수 있기 때문이다.

이미지 생성 AI를 예로 들어보자.

‘회의를 진행하는 회사원’이라고 요청하는 것과 ‘여성 회사원이 회의를 진행하는 모습’이라고 요청하는 것은 입력 조건부터 다르다. 두 결과를 단순 비교해서 모델의 편향을 판단하기는 어렵다.

같은 질문처럼 보여도 단어 하나가 달라지면 생성 결과가 달라질 수도 있다.

따라서 AI 결과를 비교해보고 싶다면 가능한 한 하나의 조건만 변경하면서 결과를 관찰하는 방식이 유용하다.

예를 들어 직업에 따른 차이를 보고 싶다면 배경이나 연령, 그림 스타일 등을 계속 바꾸기보다 같은 문장 구조에서 직업만 변경해보는 식이다.

그리고 한 번 생성한 결과보다는 여러 번 반복했을 때 어떤 경향이 나타나는지를 살펴보는 것이 더 낫다.

물론 이런 개인적인 테스트만으로 모델 전체의 특성을 과학적으로 입증할 수 있는 것은 아니다. 하지만 AI의 결과를 무조건 받아들이지 않고 입력 조건과 결과 사이의 관계를 관찰하는 습관을 만드는 데에는 도움이 된다.

개발자는 편향을 어떻게 줄일 수 있을까

AI의 젠더 편향을 완전히 없애는 것은 단순한 문제가 아니다.

현실의 데이터 자체가 완벽하게 균형을 이루지 않으며, 무엇을 편향으로 판단할 것인지도 사용 목적과 맥락에 따라 달라질 수 있기 때문이다.

그렇다고 손쓸 방법이 없는 것은 아니다.

개발 과정에서는 학습 데이터의 분포를 살펴보고 특정 집단이 지나치게 적게 포함되어 있지는 않은지 확인할 수 있다. 모델을 만든 뒤에도 서로 다른 조건의 입력을 사용해 결과가 어떻게 달라지는지 평가할 수 있다.

사용자에게 결과를 제공하는 단계에서 추가적인 안전장치나 조정 방법을 적용하기도 한다.

중요한 것은 AI 모델을 한 번 만들어 끝내는 것이 아니라는 점이다.

데이터를 검토하고, 결과를 평가하고, 문제가 발견되면 다시 개선하는 과정이 반복되어야 한다.

AI의 공정성을 단순한 데이터 정리 문제가 아니라 시스템 전체의 품질 관리 문제로 보는 이유도 여기에 있다.

AI의 젠더 편향을 볼 때 확인해야 할 것

AI가 예상과 다른 성별 표현을 만들어냈다면 가장 먼저 “AI가 편견을 가지고 있다”고 결론 내리고 싶을 수 있다.

하지만 조금 더 구체적으로 질문해보면 현상을 이해하는 데 도움이 된다.

학습 데이터에서 특정 성별이 많이 등장했는가. 데이터는 어느 시대와 문화권에서 만들어졌는가. 사람이 붙인 분류 기준이 결과에 영향을 미쳤는가. 사용자의 입력에 이미 특정한 전제가 포함되어 있지는 않았는가.

이런 질문을 하나씩 살펴보면 AI의 젠더 편향은 하나의 원인으로 설명하기 어렵다는 사실을 알 수 있다.

AI는 우리가 축적한 언어와 이미지에서 패턴을 배운다. 따라서 AI에서 발견되는 젠더 편향을 살펴보는 일은 기술을 분석하는 동시에 데이터 속에 어떤 사회적 패턴이 기록되어 있는지를 살펴보는 과정이기도 하다.

그리고 여기에서 다음 질문이 자연스럽게 이어진다.

텍스트나 이미지가 아닌 ‘목소리’에서는 어떨까?

우리가 매일 접하는 음성 비서와 내비게이션, 안내 시스템에는 특정한 목소리가 사용된다. 기술적으로 성별이 없는 AI에 사람들이 여성적이거나 남성적인 이미지를 느끼는 이유는 무엇일까.

다음 글에서는 AI 음성 비서의 목소리와 젠더 이미지가 형성되는 과정을 살펴본다.

FAQ

AI의 젠더 편향은 학습 데이터 때문에만 생기나요?

그렇게 단순하게 볼 수는 없습니다. 학습 데이터가 중요한 요인이 될 수 있지만 모델의 설계, 평가 방법, 사용자의 입력, 서비스가 결과를 처리하는 방식 등 다양한 요소가 함께 영향을 줄 수 있습니다.

데이터에서 남성과 여성의 비율을 똑같이 맞추면 편향이 사라질까요?

숫자상의 비율만 맞춘다고 모든 문제가 해결되는 것은 아닙니다. 어떤 상황과 역할로 등장하는지, 어느 지역과 시대의 자료인지, 데이터에 어떤 설명이 붙어 있는지 등도 함께 살펴봐야 합니다.

생성형 AI의 젠더 편향을 개인이 확인할 수 있나요?

간단한 비교는 가능합니다. 예를 들어 성별을 지정하지 않은 동일한 형태의 프롬프트에서 직업 등 하나의 조건만 바꾸고 여러 결과를 비교할 수 있습니다. 다만 소수의 개인 테스트만으로 모델 전체의 편향 정도를 단정해서는 안 되며, 관찰 결과와 체계적인 평가 연구는 구분할 필요가 있습니다.