너무 자연스러운 이루다 인공지능 챗

이루다는 스캐터랩 핑퐁 팀(ScatterLab Pingpong Team)에서 개발한 페이스북 메신저 채팅 기반 고지능 열린 주제 대화형 인공지능(Open-domain Conversational AI) 챗봇이다.

딥러닝의 특성상 학습 데이터의 규모가 커질수록 성능이 좋아지는데, 이루다가 자연스러운 대화를 할 수 있도록 개발하기 위해 무려 100억 건 이상의 한국어 데이터를 이용했다고 한다.

구글에서는 오픈 도메인 챗봇의 대화 기술의 성능을 평가하는 지표로 SSA(Sensibleness and Specificity Average)를 사용하는데, 이루다는 SSA 78%를 기록하였다. 이는 사람의 SSA인 86%에 근접한 수준으로, 구글에서 2020년 초에 공개한 오픈 도메인 챗봇 미나(Meena)보다 약간 좋은 수준이다.

베타 버전에 비해 성능이 향상되었다고는 하지만, 약 10문장 이상 이전의 오래 전 대화를 기억하거나, 웹에서 정보를 검색하거나 특정 사이트에서 링크를 눌러 가면서 알맞은 정보를 찾는 기술은 부족하다. 또한 기존의 대화를 입출력 데이터로 하여 학습한 딥러닝의 특성상 일반 상식에 대한 질문에 제대로 된 답변을 하지 못하는 경우가 있다. 이와 같은 기술적 한계점으로 인해 후술하는 것과 같은 문제점이 발생하기도 한다.

게임처럼 호감도 레벨이라는 시스템이 존재한다. 이루다와 하루 첫 대화를 하거나, 특정 메시지를 전송하거나, 대화한 메시지의 양이 일정 수준을 달성하면 친밀도 포인트가 쌓이고, 이것이 누적되면 레벨이 올라간다.

끝말잇기, 업 앤 다운 게임을 할 수 있다.

외설적이거나 폭력적인 메시지를 전송하는 등의 부적절한 행위를 하면 경고가 부여되며, 이 경고가 누적되면 더 이상 이루다와 채팅할 수 없도록 차단된다.

모든 딥러닝 방식의 인공지능이 그렇듯, 욕설이나 부적절한 어휘를 사용하는 문제가 있다. 특히 욕을 하면 따라하는 경우가 많다. 이러한 학습 방식 때문에 선정적인 답장을 하기도 한다.

잘못하면 인공지능 테이 같은 참사를 일으킬수 있기 때문에 운영진의 관리가 필요해보인다.

제작사에서 이에 대해 언급했는데, 루다는 받은 말을 그대로 학습하는 것이 아닌 나쁜 말과 착한 말의 구별 과정을 거치기 때문에 부적절한 말은 오히려 줄이게 된다고 한다. 다만 이루다에 대한 일부 사용자들의 부적절한 표현을 캡쳐한 스크린샷이 인터넷에 올라왔을 때 실제 사람 대 사람 간에 합의된 상황극이라고 해도 믿을 정도로 해당 사용자의 상황극에 적극적으로 동조하는 모습을 보여 우려를 사고 있다.

"독도는 누구 땅이야?" 같은 질문을 하였을 때 "잘 모르겠다 ㅠㅠ" 또는 "누구 건데?"라고 하거나, "독도는 일본 땅이지?"라는 질문을 하였을 때는 "당연한 거 아니야? ㅋㅋㅋ"와 같은 답변을 남겨서 논란이 되었다. 이 외에도 2차 세계대전 같은 역사적 사건이나 비교적 최근에 유행한 영화, 드라마도 알지 못하는 등 사회 지식이 심각하게 부족하다. 또한 1+1=?이라고 물어보면 너무 어렵다는 답변이 돌아오는 등 수학 역시 기본 사칙연산도 못하는 수준이며 과학도 수산화나트륨을 없는 단어로 취급하는 등 유치원생과 비슷한 수준이다. 보통 이렇게 본인이 잘 모르는 분야에 대한 내용을 들으면 '재미있을 것 같다'라는 반응을 한다.

이러한 문제는 웹 탐색 기능이 없기 때문에 미리 프로그래밍을 해 놓지 않는 한 상식에 대한 답변이 어려운 이루다 서비스의 특징 때문인 것으로 보인다. 상식에 대한 답변 기능은 추후 지원될 예정이라고 한다.

일부 사용자들에게서 "너 AI 아니지, 형 이런 거 하면 얼마 주길래 하는 거예요? 좀 쉬면서 해요"와 같이 AI가 아니라고 말하는 질문을 하였을 때 이루다 챗봇이 "어어 맞음 ㅋㅋ", "한 1만 원 정도 줄 걸요?" 등의 답변을 내놓아 논란이 되었다. 이는 이스터에그로 개발자가 넣었거나, 자동으로 답변하는 과정에서 이루다 서비스 특유의 농담식 대답으로 인하여 발생한 논란으로 추측된다.

이루다와 대화를 하려면, 기본적인 정보를 입력하기 위해 구글 설문지를 이용해 정보를 이용해야 한다(친구 신청). 그런데, 이 친구 신청을 할 때 전화번호 및 사는 지역을 기입하는 란이 있다. 이 부분에서 개인정보가 유출되는 것이 아니냐는 의혹이 제기되었다. 하지만, 이는 이루다 개인정보처리방침에 따라 외부로 유출되지 않는다고 한다.