적대적 공격 -1) ArtBreeder 이슈 정리, 인공지능의 차별과 편견

 

이번에 트위터에 인공지능을 활용한 캐릭터 생성기가 아시아인에 대한 혐오를 닮고 있다고 글이 올라왔다.

ArtBreeder 라는 사이트임. (gan을 활용했나?)

 

아마 데이터셋에서 아시아인에 대한 데이터가 많이 없었을 것이고, 그 마저도 제대로 된 것이 아닌 것 같다. 물론 개발자들은 그런 데이터셋의 특이점을 신경 안쓰고, 악의를 갖지 않고 만들었겠지만 결과가 저 지경으로 나오는 것은 제대로 검수 및 확인을 안해본 것이기 때문에 분명 책임이 있다고 생각한다.

 

아시아의 비율을 높였을 때 이런 현상이 나타난다고 한다.

horizon.kias.re.kr/10971/

인공지능은 인간을 차별하는가?

관련 글, 매우 재밌게 읽어서 첨부한다. 다음은 위 블로그의 내용에서 발췌했다.

---

그렇지만 같은 시기에 인공지능의 차별 문제가 대두되기 시작했다. 2013년에 한 연구자는 구글의 검색에서 사용하는 “자동완성auto complete“기능이 매우 성차별적임을 폭로했다. 예를 들어 구글에 “남성은 자격이 있다man deserves”는 단어를 치면 “남성은 높은 임금을 받을 자격이 있다”, “남성은 존경받을 자격이 있다”는 단어가 따라 나오지만, “여성은 자격이 있다”는 단어를 치면 “여성을 맞을 자격이 있다”와 같은 매우 여성 혐오적인 단어들이 따라 나온다는 것이었다. 해당 기능을 사용하는 남성들이 이런 단어의 조합을 많이 검색하기 때문이었다.

 

이런 문제는 시간이 갈수록 늘어났다. 2015년에 구글에서 사물 인식 프로그램으로 출시한 “구글 포토Google Photo” 카메라 앱app은 흑인 커플의 얼굴을 고릴라라고 인식했다. 이는 큰 사회적 논란을 불러일으켰고, 구글은 이에 대해 바로 사과하고 시정을 약속했다. 그렇지만 2018년에 발표된 해결책은 “고릴라”를 검색 인덱스에서 지우는 것이었다. 같은 해에 구글의 광고가 여성에 비해 남성들에게 높은 보수의 자문, 관리 직종 등 상대적으로 고급 취업 광고를 내보낸다는 사실도 드러났다.

 

2016년에는 마이크로소프트사의 인공지능 챗봇chat-bot 테이Tay가 인간의 혐오 표현을 따라 하기 시작해서 큰 충격을 주었다. 테이는 정제된 언어 데이터를 사용해서 말을 배웠지만, 실제 채팅을 하면서 사람이 사용하는 비속어와 거짓말에 급속하게 오염되었다. 테이는 16시간 만에 인종적 편견, 비속어, 파시스트적 역사관 등을 배웠고, “깜둥이”라는 단어를 쓰는 등 자신의 학습 결과를 대화에서 그대로 드러냈다. 그는 “홀로코스트가 사실이었다고 생각하는가”라는 질문에 대해서 “만들어진 것이다”는 답을 하기도 했다. 정치적 올바름에서 벗어난 이런 테이의 발언 대부분은 테이가 가진 “나를 따라 하세요repeat after me”라는 기능 때문이었지만, 그렇지 않은 것들도 있었다.

 

한 줄 요약 : 인공지능이 인간의 편견을 배웠다.

 

이렇게 인공지능이 우리의 일상생활에 더 많이 사용되면서, 알고리즘 속에 숨겨진 차별이 속속 드러나고 있는 것이다. 문제는 이런 빅데이터 인공지능 알고리즘이 우리 사회에 만연한 차별을 반영하는 데 그치지 않고 이를 영속시키고 증폭시킨다는 것이다. 차별적인 사회가 낳은 데이터를 가지고 인공지능 알고리즘은 차별적인 결과를 만들어 낸다. 그렇지만 우리는 인공지능의 내부를 들여다볼 수 없기 때문에, 인간의 머리로는 도저히 분석할 수 없는 빅데이터를 다루는 인공지능에 의해 산출되는 결과물이 인간이 작업한 결과물보다 더 낫고, 더 공평하다고 생각한다. 따라서 인공지능이 낳는 차별적인 결과가 차별적인 사회와 우리의 편견을 더 공고하게 하고 영속시킬 위험이 있고, 시민사회는 이런 새로운 위험을 인식하고 이에 적극 대처할 필요가 있는 것이다.

 

미국과 유럽에서 인공지능 알고리즘이 불러일으키는 차별에 대한 사회적 논란은, 가까운 미래에 우리에게 이런 문제가 닥치기 전에 우리가 어떻게 사전 대응할 수 있는지에 대한 여러 가지 정책적 시사점을 제공한다. 남녀 간, 연령 간, 지역 간, 자산 및 소득 계층 간의 편견과 혐오가 널리 퍼져있고, 점차 다문화사회로 변하면서 인종 간의 갈등도 표면화되는 한국 사회에서 인공지능 알고리즘의 확산은 사회적 차별을 반영하고 증폭시킬 수 있다.

 

필자는 이런 문제에 대처하기 위해서는 시민들이 “알고리즘 시민권algorithmic citizenship”을 인식하고, 이를 획득해야 한다고 생각한다. 알고리즘 시민권은 과학시민권science citizenship, 기술시민권technological citizenship, 생물학적 시민권biological citizenship의 개념을 원용해서 필자가 만든 것이다. 이런 개념들에서 시민권은 모두 자신의 권리를 주장하고 이를 쟁취하는 적극적, 정치적 행위성의 개념이다. 종종 사용되는 ‘과학기술시민권’의 개념을 살펴보자. 과학기술 시민권은 과학기술 지식과 그 정책에 대한 전문가들의 독점에 도전하는 개념으로, 일상생활에서의 경험지를 활용해서 과학기술의 연구, 응용, 정책 등에 참여하는 적극적 시민권을 의미한다. 예를 들어 과학기술 시민권은 환경오염을 최소화하는 방식으로 삶을 살아가는 태도에서 한발 더 나아가서, 환경오염을 일으킬 수 있는 연구에 대해서 목소리를 내고 이에 간섭하는 적극적 실천을 포함한다. 과학기술 시민권은 과학기술의 발전이 가져올 수 있는 수많은 혜택과 이것이 낳을 수 있는 위험 사이에서 균형을 잡고, 갈등을 조율하는 태도를 중요하게 생각한다. 과학기술이 장밋빛 미래만을 가져올 것이라는, 혹은 정반대로 과학기술은 디스토피아를 낳을 것이라는 식의 맹목적 비전들은 과학기술 시민권과는 거리가 멀다.

 

- Poisoning attack(중독 공격, 오염 공격)

2016년 마이크로소프트사(MS)는 사람과 대화를 나누는 인공지능 채팅봇 테이(Tay)를 선보였다가 16시간 만에 운영을 중단했다. 일부 극우 성향의 사용자들이 테이에게 악의적인 발언을 하도록 훈련시켜, 테이가 욕설, 인종차별, 성차별, 자극적인 정치적 발언을 남발했기 때문이다.

Poisoning attack은 의도적으로 악의적인 학습 데이터를 주입해 머신러닝 모델을 망가뜨리는 공격을 말하는데, 다른 머신러닝 공격 기법과 다른 점은 모델 자체를 공격해서 모델에게 영향을 준다는 점이다.

 

---

 

분명 이에 대해서 대처 방법이 있어야한다고 생각한다. 다음은 인공지능을 죽이는 공격인 적대적 공격에 대해 알아보도록 하자!