온라인 괴롭힘은 생성형 AI가 등장하기 전부터 존재했다. 악성 댓글이나 허위 정보, 원하지 않는 메시지를 반복해서 보내는 행동처럼 디지털 공간에서도 다른 사람에게 피해를 주는 일은 계속 문제가 되어 왔다.
그런데 생성형 AI가 빠르게 보급되면서 이전과는 조금 다른 상황을 생각해야 할 필요가 생겼다. 이제는 전문적인 편집 능력이 없어도 글이나 이미지, 음성처럼 보이는 콘텐츠를 비교적 쉽게 만들어 낼 수 있기 때문이다.
AI와 젠더 문제를 살펴보면서 특히 주의 깊게 보게 된 부분도 여기에 있다. 생성형 AI 자체를 위험한 기술이라고 단정하기보다, 콘텐츠를 만드는 데 필요한 시간과 기술적 장벽이 낮아졌을 때 기존의 온라인 괴롭힘이 어떤 형태로 달라질 수 있는지를 살펴보는 것이 중요하다.
온라인 괴롭힘에 생성형 AI가 더해지면 무엇이 달라질까
과거에도 다른 사람을 비방하는 글을 작성하거나 사진을 편집하는 것은 가능했다. 다만 많은 콘텐츠를 직접 만들려면 어느 정도 시간과 노력이 필요했다.
생성형 AI는 이러한 콘텐츠 제작 과정의 일부를 자동화할 수 있다.
텍스트 생성 AI는 짧은 요청을 바탕으로 다양한 문장을 만들 수 있고, 이미지 생성 기술은 실제로 촬영하지 않은 장면을 만들어 낼 수 있다. 음성 합성 기술 역시 실제 사람의 목소리처럼 들리는 결과물을 만드는 방향으로 발전하고 있다.
이러한 기능은 교육, 디자인, 번역, 창작 등 정상적인 분야에서 유용하게 활용될 수 있다.
하지만 같은 기술을 누군가를 괴롭히거나 허위 콘텐츠를 만드는 데 사용한다면 문제가 달라진다. 한 사람을 대상으로 비슷한 내용의 콘텐츠를 반복해서 생성하거나 실제와 허구를 섞은 자료를 만들어 확산시키는 등의 악용 가능성을 고려해야 하기 때문이다.
핵심은 AI가 괴롭힘이라는 행동을 새롭게 발명했다는 것이 아니다. 이미 존재하던 행동을 더 빠르고 쉽게 반복할 수 있는 도구가 될 수 있다는 점이다.
합성 콘텐츠도 실제 피해를 만들 수 있을까
생성형 AI로 만든 이미지는 실제로 촬영한 사진이 아닐 수 있다. 그렇다면 가짜라는 사실만 밝혀지면 아무 문제가 없을까?
현실은 그렇게 단순하지 않다.
온라인에서 어떤 콘텐츠를 처음 본 사람은 그것이 실제인지 합성인지 바로 알지 못할 수 있다. 특히 원본 사진과 합성 이미지가 섞여 있거나 맥락을 설명하는 정보가 없다면 더욱 그렇다.
합성 콘텐츠가 실제 인물과 연결되어 유포될 경우 당사자의 평판이나 인간관계에 영향을 줄 가능성도 있다.
여기에서 중요한 것은 이미지가 진짜냐 가짜냐만이 아니다.
당사자가 자신의 얼굴이나 목소리를 그러한 방식으로 사용하는 데 동의했는지, 해당 콘텐츠가 사람을 속이거나 모욕하고 괴롭히는 목적으로 사용됐는지도 함께 살펴봐야 한다.
앞선 글에서 다룬 딥페이크 문제와 연결되는 지점이다.
AI가 만든 장면이 실제로 일어난 일이 아니더라도 실제 사람의 정체성을 이용했다면 그 결과는 온라인 공간에만 머무르지 않을 수 있다.
왜 젠더 관점도 함께 필요할까
온라인 괴롭힘을 기술적인 문제로만 보면 ‘AI가 생성했는가’ 또는 ‘사람이 직접 만들었는가’에 관심이 집중되기 쉽다.
젠더 관점에서는 조금 다른 질문도 필요하다.
어떤 유형의 콘텐츠가 특정 성별을 대상으로 만들어지는지, 외모나 성적 이미지를 이용한 공격이 어떻게 나타나는지, 기존의 젠더 고정관념이 AI로 만든 콘텐츠에서도 반복되는지 등을 살펴볼 수 있다.
생성형 AI는 사회와 완전히 분리된 환경에서 작동하지 않는다. 사람이 만든 데이터로 학습하고 사람이 정한 방식으로 사용되기 때문이다.
그래서 기술을 분석할 때는 모델의 성능만큼 실제 이용 환경도 중요하다.
특히 한 사람의 얼굴이나 목소리처럼 정체성과 밀접하게 연결된 정보를 이용하는 경우에는 당사자의 동의라는 기준이 중요해진다.
단순히 인터넷에 공개되어 있었다는 이유만으로 어떤 방식으로든 자유롭게 사용해도 된다고 생각해서는 곤란하다. 공개된 정보와 사용에 대한 동의는 서로 다른 문제이기 때문이다.
AI가 만든 콘텐츠를 발견했을 때 확인할 것
생성형 AI가 보편화될수록 인터넷에서 보는 모든 콘텐츠를 무조건 가짜라고 생각하는 것도 좋은 방법은 아니다.
오히려 출처를 확인하는 기본적인 습관이 중요해진다.
특정 인물에 관한 자극적인 이미지나 음성을 발견했다면 처음 게시한 곳이 어디인지 확인하고, 신뢰할 수 있는 다른 출처에서도 같은 사실이 확인되는지 살펴볼 수 있다.
출처가 불분명하다면 바로 다른 사람에게 전달하지 않는 것도 중요하다.
특히 누군가에게 피해를 줄 가능성이 있는 콘텐츠는 “진짜인지 확인해 보자”는 이유로 다시 공유하는 것 자체가 결과적으로 확산을 키울 수 있다.
플랫폼에 신고 기능이 있다면 해당 콘텐츠를 재게시하는 대신 신고 절차를 이용하는 방법도 있다.
AI 콘텐츠를 구별하는 능력만큼 확인되지 않은 콘텐츠를 어떻게 다룰 것인지에 대한 판단이 중요한 이유다.
플랫폼과 AI 기업의 역할도 중요하다
디지털 안전을 개인의 주의에만 맡기는 데는 한계가 있다.
생성형 AI 서비스를 만드는 기업은 악용 가능성을 고려한 안전장치를 설계할 필요가 있고, 온라인 플랫폼 역시 괴롭힘이나 비동의 합성 콘텐츠를 신고할 수 있는 절차를 마련하는 것이 중요하다.
자동 탐지 기술도 하나의 방법이 될 수 있다.
AI를 이용해 정책 위반 가능성이 있는 이미지나 글을 분류하고 사람이 우선적으로 검토해야 할 콘텐츠를 선별하는 방식이다.
그러나 자동화된 시스템 역시 실수할 수 있다. 풍자나 비평처럼 맥락에 따라 의미가 달라지는 콘텐츠를 잘못 분류할 수도 있고 실제 문제가 있는 콘텐츠를 놓칠 수도 있다.
따라서 자동화된 탐지와 사람의 검토, 이용자의 신고 기능이 함께 작동하는 구조가 필요하다.
마무리
생성형 AI가 온라인 괴롭힘을 처음 만들어 낸 것은 아니다. 달라진 것은 글, 이미지, 음성과 같은 디지털 콘텐츠를 만드는 데 필요한 시간과 기술적 장벽이 낮아지고 있다는 점이다.
그래서 AI 시대의 온라인 안전에서는 결과물이 얼마나 정교한지만 볼 것이 아니라 누구의 정보를 이용했는지, 당사자의 동의가 있었는지, 어떤 목적으로 유통되고 있는지까지 함께 살펴봐야 한다.
젠더 관점 역시 같은 질문에서 출발한다. 특정 사람이나 집단을 대상으로 한 괴롭힘이 기존의 젠더 고정관념과 결합하고 있지는 않은지 확인하는 것이다.
결국 생성형 AI 시대에 필요한 것은 모든 콘텐츠를 의심하는 태도가 아니라 출처와 맥락을 확인하고, 피해 가능성이 있는 콘텐츠를 무심코 재확산하지 않는 디지털 습관이다.
다음 글에서는 AI 얼굴 합성과 동의의 문제를 중심으로, 인터넷에 공개한 사진과 그 사진을 AI 학습이나 합성에 사용하는 것이 왜 서로 다른 문제인지 살펴본다.
FAQ
Q. AI로 만든 가짜 이미지도 온라인 괴롭힘이 될 수 있나요?
실제로 촬영한 사진이 아니더라도 특정인을 대상으로 만들어져 모욕이나 괴롭힘 등에 이용된다면 실제 당사자에게 피해를 줄 수 있습니다. 따라서 합성 여부뿐 아니라 사용 목적과 유통 맥락도 중요합니다.
Q. 인터넷에 공개된 사진은 생성형 AI로 자유롭게 사용해도 되나요?
사진이 공개되어 있다는 사실만으로 모든 형태의 사용에 동의했다는 의미가 되는 것은 아닙니다. 서비스의 이용 조건, 사진에 관한 권리, 당사자의 동의와 사용 목적 등을 별도로 살펴볼 필요가 있습니다.
Q. AI로 만든 것처럼 보이는 콘텐츠를 발견하면 어떻게 해야 하나요?
외형만 보고 단정하기보다는 최초 출처와 게시 맥락을 확인하는 것이 좋습니다. 특정인에게 피해를 줄 가능성이 있는 확인되지 않은 콘텐츠라면 재공유를 피하고 플랫폼의 신고 기능을 확인하는 것도 방법입니다.
해시태그:
#인공지능 #AI #AI와젠더 #젠더와AI #생성형AI #온라인괴롭힘 #디지털안전 #AI윤리 #딥페이크 #AI합성 #젠더문제 #온라인안전 #디지털리터러시 #개인정보보호 #AI콘텐츠 #디지털젠더 #인공지능윤
