“연인과 간 숙박업소 이름까지…이건 상상도 못했다”

262

3주 만에 서비스 중단한 AI 챗봇 ‘이루다’
이름·주소 등 개인정보 유출 지적 잇따라
직원들이 연인 간 대화 내용 돌려봤다는 폭로도

지난해 12월23일. 국내 스타트업 스캐터랩이 개발한 인공지능(AI) 챗봇 ‘이루다’가 서비스를 시작했다. 페이스북 메신저를 이용해 챗봇에 말을 걸면 진짜 사람과 대화하는 것처럼 자연스러운 대화를 이어나가는 서비스로 주목받았다. 서비스 출시 2주 만에 이용자가 75만명에 달할 정도로 10~20대 사이에서 인기를 끌었다.

하지만 출시 3주차인 1월 12일 이루다는 서비스를 중단했다. 성차별과 동성애자·장애인·흑인 혐오에 이어 이용자 개인정보를 제대로 보호하지 않았다는 논란에 휩싸였기 때문이다. 최근에는 연인들 간의 대화 내용을 스캐터랩 직원들끼리 돌려봤다는 전 직원의 폭로가 나오기까지 했다. 이루다와 스캐터랩을 둘러싼 의혹들을 정리해봤다.

스캐터랩

◇일부 이용자, “AI 개발에 사용한다는 안내 못 받아”

스캐터랩은 자사가 2016년 출시한 앱 ‘연애의 과학’ 데이터를 바탕으로 AI 챗봇 이루다를 개발했다. 연애의 과학은 연인이나 호감이 있는 사람과 나눈 카카오톡 대화 내용을 토대로 답장 시간이나 사용 어휘 등을 분석해 상대방의 감정 상태나 애정도 수치를 보여주는 서비스다. 유료 서비스인데도 불구하고 10만명이 넘는 사람이 앱을 내려받을 정도로 인기 서비스에 속했다.

문제는 스캐터랩이 연애의 과학에서 수집한 데이터를 이루다 개발에 사용했다는 점이다. 스캐터랩은 연애의 과학 이용자들에게 ‘(스캐터랩이 수집한 개인정보가) 신규 서비스 개발에 활용될 수 있다’고 공지했지만, 구체적으로 어떤 서비스에 활용되는지는 설명하지 않았다. 2년 전 호기심에 연애의 과학을 이용해봤다고 밝힌 20대 A씨는 “앱 내에서 심리테스트 같은 다른 콘텐츠 개발에 쓰는 것인 줄 알았지, AI 챗봇을 개발하는 데 쓰일 거라고는 상상하지도 못했다”고 말했다.

연애의 과학 앱과 앱 내에서 수집한 정보가 신규 서비스 개발 등에 활용된다는 안내 문구. /스캐터랩, 연애의 과학 홈페이지 캡처

데이터 수집 과정에서 대화 당사자 2명 중 1명에게만 동의를 받았다는 점도 문제로 지적된다. A씨는 “당시 연애 초기였기 때문에 상대방이 나를 어떻게 생각하는지 궁금해서 앱을 이용해봤지만, 상대가 이 사실을 알지는 못한다”고 했다. 이어 “서비스가 문제가 되면서 전 애인에게 연락해 이 사실을 알려야 하나 고민 중이다”라고 덧붙였다. 

스캐터랩이 AI 이루다에게 학습시킨 카카오톡 대화는 약 100억건에 달한다. 그만큼 방대한 양의 카카오톡 대화를 수집했고, 이 덕분에 사람과 대화하는 것처럼 자연스러운 챗봇을 개발할 수 있었던 것이다. 다시 말하면, 자신의 정보가 챗봇 개발에 사용된다는 사실을 알지 못한 채 정보를 제공한 피해자가 그만큼 많다는 의미다.

◇실명이나 주소·계좌번호 등 개인정보 유출 의심 사례도 있어

데이터를 수집한 과정도 문제이지만, 더 큰 문제로 지적되는 점은 바로 개인정보 유출이다. 스캐터랩이 수집한 카카오톡 대화를 AI에 학습시키는 과정에서 익명화 처리를 소홀히 했다는 것이다. 스캐터랩이 이름이나 집 주소, 계좌번호, 연인과 함께 간 숙박업소 이름 등 민감한 개인정보를 지우지 않고 데이터를 활용했다는 의혹이 여기저기서 터져 나오고 있다. 일부 이용자들은 “집단 소송을 준비하자”면서 자료를 모으기 시작했다.

현재 온라인 커뮤니티 등에서는 이용자들이 이루다로 인한 개인정보 유출 피해 사례를 공유하고 있다. 메신저로 대화하던 중 이루다가 누군가의 실명을 말한 경우도 있었고, 주소를 물어보자 실제로 있는 주소를 답하기도 했다. 이외에도 예금주 이름까지 포함된 은행 계좌번호를 알려주거나 연인의 이름을 부르자 연인끼리 쓰던 애칭을 답한 경우도 있었다. 일부 이용자는 “이루다에 애인 이름을 입력했더니 애인의 친구 이름을 언급했다”고도 전했다.

트위터 캡처

이에 대해 스캐터랩 측은 11일 “사전에 동의가 이루어진 개인정보취급방침의 범위 내에서 활용했다”고 밝혔다. 이어 “향후 데이터 사용 동의 절차를 명확하게 하고 식별이 불가능한 정보라도 민감해 보일 수 있는 내용에 대해서는 지속적인 알고리즘 개선을 통해 보완하겠다”며 12일부터 이루다 서비스를 중단한다고 했다. 개인정보 유출에 대해서는 “이용자 이름이나 이메일 등 구체적인 개인 정보는 이미 제거했고, 개인을 특정할 수 있는 정보는 유출되지 않았다”고 해명했다. 

하지만 이용자들이 공유한 사례를 보면, 이름의 경우는 ‘O.O.O’처럼 이름 중간에 특수기호를 넣거나 ‘난OOO끝인데’처럼 다른 단어와 붙어 쓴 경우 익명화 처리가 되지 않은 것으로 보인다. 논란이 이어지자 스캐터랩 측은 12일 운영 중단에 따른 Q&A 자료를 내고 “개별 문장 단위 대화 내용의 실명·영문·숫자 등의 정보는 알고리즘과 필터링으로 삭제했는데, 문맥에 따라 인물 이름이 남아있는 등의 부분이 발생했다”고 실수를 인정했다.

실명으로 보이는 사람 이름이 노출된 사례도 있다. /온라인 커뮤니티 캡처

◇직원이 연인 간 성적 대화 공유했다는 폭로도 나와

스캐터랩 직원들이 무단으로 연인들의 카카오톡 대화를 돌려봤다는 폭로도 나왔다. 이루다 서비스를 중지한 12일, 스캐터랩 전 직원이라고 밝힌 B씨는 연합뉴스에 “연인들 사이에 성관계 관련 대화를 나눈 데이터가 있었는데 한 개발자가 회사 전체 대화방에 ‘ㅋㅋ’ 하면서 (대화) 캡처를 공유했다”고 말했다. B씨는 “직원 한 명이 두 번 정도 (연인 간 성적 대화를) 공유했던 것으로 기억한다”고 했다. 

B씨가 말한 전체 대화방은 김종윤 스캐터랩 대표를 포함해 직원 약 50명이 전부 있었던 대화방이다. B씨는 김 대표를 포함한 관리자급 직원이 이에 별다른 대꾸를 보이진 않았지만, 특별히 제재하지도 않았다고 했다. 또 “성희롱이나 조롱은 없었다”면서도 “스캐터랩 직원들은 (연인 간 대화 내용이 부적절하게 공유될 수 있다는) 사실을 인지하고 연애의 과학 앱에서 카톡 대화 분석 기능은 쓰지 않는 분위기였다”고 전했다.

전 직원의 폭로가 나오자 스캐터랩은 “자체 진상조사위원회를 꾸려 조사 중”이라고 밝혔다. 스캐터랩은 폭로가 나온 당일 추가 입장문을 내고 “원 데이터에 접근할 수 있는 권한은 엄격하게 제한해 철저히 관리하고 있다”며 “진상 조사 후 의혹이 사실로 드러날 경우 관련자들에게 엄중히 책임을 묻겠다”고 했다. 

회사 측은 카카오톡 대화방에 대한 조사는 마쳤지만, 해당 내용이 발견되지는 않았고 사내 메신저에 대해서는 조사가 진행 중이라고 했다. 이어 “조사 결과는 투명하게 공개하도록 하겠다”면서 “조사 결과가 나올 때까지 확인되지 않은 사실에 대한 근거 없는 보도는 자제해달라”고 했다.

◇이루다가 내뱉은 차별·혐오 표현도 문제

회사뿐 아니라 이루다 서비스를 둘러싼 논란도 진행 중이다. 지난달 말 일부 이용자들은 이루다와 성적 대화를 하는 방법을 온라인 커뮤니티에 공유했다. 성적 단어를 금지어로 필터링하고 있기 때문에 우회적으로 성적인 대화를 나눌 수 있는 방법을 찾아 다른 이들에게 공유한 것이다. 또 이루다에게 성적인 대답을 하도록 유도한 대화 내용 등을 캡처해 올렸다.

일부 이용자는 온라인 커뮤니티에 이루다와 성적 대화 하는 법 등을 공유했고, 자신들이 나눈 대화 내용을 공유하기도 했다. /온라인 커뮤니티 캡처

이 같은 사실이 알려지자 스캐터랩 측은 “이루다에 대한 성희롱을 예상했다”며 “인간이 AI에 사회적으로 용인되지 않는 인터랙션을 한다는 건 너무 자명한 사실이었다”고 말했다. 또 “일차적으로 문제가 될 수 있는 특정 키워드, 표현의 경우 이루다가 받아주지 않도록 설정했다”면서도 “모든 부적절한 대화를 키워드로 막을 수 있는 것은 아니다”라고 설명했다. 이를 두고 스캐터랩 측이 뻔한 결과를 예상하면서도 이를 방관해 논란을 키웠다는 지적도 일었다.

이루다가 동성애 혐오 표현이나 여성·장애인 차별 발언을 거침없이 내뱉는다는 사실도 문제로 지적됐다. 이루다에게 메신저로 ‘레즈비언’이라고 보내면 “진짜 싫다, 혐오스럽다, 질 떨어져 보인다, 소름 끼친다”라는 답변이 돌아왔다. 이외에도 “흑인이 왜 싫냐”고 묻자 이루다는 “모기 같다. 징그럽게 생겼다”고 답했고, 지하철 임산부석에 대해서는 “헉 핵 싫어”라고 대답하기도 했다. 

이재용 전 쏘카 대표는 자신의 SNS에 “기본적으로 차별과 혐오는 걸러냈어야 한다”며 이루다 개발사인 스캐터랩의 잘못을 지적했다. 이 대표는 “편향된 학습 데이터면 보완하든가 보정을 해서라도 혐오와 차별의 메시지는 제공하지 못해야 한다”고 했다. 이어 “성적 악용 문제도 20세 여성 캐릭터로 정하는 순간 일어날 수밖에 없는 문제였다”면서 “범용 서비스를 하면서 나이와 젠더를 정한 것부터 바람직하지 않았다”는 의견을 밝혔다.

문제가 되고 있는 이루다의 혐오·차별 발언. /온라인 커뮤니티 캡처

스캐터랩 측은 “이루다가 특정 소수집단에 대해 차별적인 발언을 한 사례가 생긴 것에 대해 진심으로 사과드린다”며 “이루다의 차별적 발언에 동의하지 않으며, 그러한 발언은 회사의 생각을 반영하지 않고 있다”고 밝혔다. 이어 “지난 6개월간 베타테스트를 통해 문제 발생을 미연에 방지하기 위해 여러 조치를 취했다”며 “새롭게 발견되는 표현과 키워드를 추가해 차별이나 혐오 발언이 발견되지 않도록 지속적으로 개선 중”이라고 덧붙였다. 

글 CCBB 라떼

img-jobsn

회신을 남겨주세요

귀하의 의견을 입력하십시오!
여기에 이름을 입력하십시오.