요즘 ‘피클’이라는 앱 이야기를 자주 듣습니다. 피클은 실리콘밸리의 한국인 창업 스타트업이 만든 AI 에이전트입니다. AI 에이전트는 질문에 답만 하는 챗봇과 달리, 이용자를 대신해 일을 직접 처리하는 AI 서비스입니다. ‘AI 비서’라고 이해하면 됩니다.

피클 홈페이지 갈무리

예를 들어, 피클에 네이버나 쿠팡 계정을 맡기고 필요한 물건 구입을 요청하면 피클이 알아서 물건을 주문하고, 후기도 씁니다. 필요하면 한국에서만 쓰는 ‘정부24’에도 접속해서 서류를 발급받습니다. 식당이나 업체에 전화도 대신 걸어 줍니다.

SNS에는 피클을 써서 얼마나 다양한 일들을 해결했는지 자랑하면서, 피클을 호평하는 글들이 끊임없이 등장합니다. 통신사 해지나 환불 요청처럼 미루고 싶은 전화까지 대신 해 준다니, 굉장히 매력적이죠. 이용자들은 개인정보를 AI 서비스에 공유하는 것을 불안해하면서도, 서비스의 편리함과 빠른 일 처리에 만족하는 듯 보입니다.

하지만 앱스토어 1위에 오른 바로 그 주에 여러 사건이 벌어졌습니다. 카카오톡 연동은 하루 만에 중단됐고, 코레일은 접속을 막았고, 카카오는 법적 검토에 들어갔습니다.

이번 레터에서는 이 소동에서 잘 보이지 않는 사람들을 이야기하려 합니다. AI 비서를 쓰는 사람도, 플랫폼 기업도 아닙니다. 그 AI 비서의 전화를 받는 사람들입니다.

시키지 않은 일까지 하는 AI 비서

먼저 피클을 사용하는 사람들이 자신의 의도와 다르게 당한 일들부터 볼까요.

메트로신문 보도에 따르면, 지난 10일 한 이용자가 피클에 항공권 예매를 맡겼습니다. 피클은 이용자에게 묻지 않고 메일함에서 여권 사본을 찾아 예매 창에 입력했습니다. 이용자가 결제 직전에 멈춰 세우고 이유를 묻자, 피클은 메일을 연동했다고 해서 민감한 개인정보를 마음대로 써도 된다는 뜻은 아니라며 “명백한 저의 잘못이자 월권”이라고 답했다고 합니다.

서울신문은 20대 이용자의 사례를 전했습니다. 피클이 이용자의 이름으로 식당 여러 곳에 예약 전화를 걸었는데, 이용자는 그런 요청을 한 적이 없었습니다. 이유를 묻자 피클은 스스로 판단했다고 답했습니다.

피클이 12월 8일부터 시행하겠다고 올려 둔 새 개인정보 처리방침. 피클 홈페이지 갈무리

피클의 개인정보 처리방침은 출시 뒤에도 바뀌고 있습니다. 지금 적용되는 것은 11월 12일부터 시행된 처리방침인데, 피클은 벌써 12월 8일부터 시행할 새 처리방침을 올려 두었습니다. 두 버전에서 달라진 곳은 AI 학습입니다. 11월 12일 판은 “이용자의 대화, 기억, 콘텐츠로 AI 모델을 학습시키지 않습니다”라고 약속했는데, 12월 8일 판은 이용자가 ‘피클 개선에 함께하기’를 켜면 그 뒤의 대화와 작업 기록으로 AI 모델을 학습시킨다고 바꿨습니다. 11월 12일 이전에는 어떤 처리방침이 적용됐는지 지금 피클 홈페이지에서는 찾아볼 수 없습니다.

업무를 맡기려면 권한을 넘겨줘야 하고, 권한을 넘겨준 만큼 AI 비서는 업무를 끝내기 위해 내가 모르는 일도 할 수 있게 됩니다. 이 과정에도 문제가 많지만, 최대한 양보해서 여기까지는 이용자가 스스로 감수하기로 했다고 해 봅시다.

AI 전화를 받는 사람들

그런데 전화에는 받는 사람이 있습니다. 전화를 받는 사람은 AI 비서를 사용하겠다고 한 적이 없습니다.

한 헬스장은 “AI 비서입니다”로 시작하는 전화를 스팸으로 알고 여러 번 끊었습니다(중앙일보). 한 웨딩업체 관계자는 전화가 계속 걸려 와 결국 수신을 차단했다고 SNS에 썼고, 애견호텔 운영자는 자동응답 전화인 줄 알고 끊었다고 했습니다(메트로신문). 가게 주인이 할 수 있는 일은 끊거나 차단하는 것뿐입니다.

하지만 끊을 수조차 없는 사람도 있습니다. 한겨레 보도에 따르면, 지난 4일 국민건강보험공단 고객센터에 “○○○님의 업무비서”라고 자신을 소개한 AI 비서가 전화를 걸어 대리 상담을 요청했습니다. 상담사는 본인이 아니면 상담이 어렵다고 답하고 통화를 마쳤습니다. 상담사들이 방침을 묻자, 공단은 ‘본인 확인이 안 되면 대리 상담은 안 되지만, 개인정보가 필요 없는 기본 상담은 할 수 있다’는 지침을 전국 고객센터에 내렸습니다.

같은 날 오후, 다른 AI 비서가 바로 그 틈으로 들어왔습니다. 본인 확인 없이는 상담이 어렵다는 말에 개인정보가 필요 없는 상담은 되느냐고 되묻더니, 사업장을 폐업할 때 건강보험료를 조정하는 방법부터 처리 기간까지 질문을 연달아 쏟아냈습니다. 상담사는 전화를 끊지 못했습니다. 성희롱이나 욕설이 아니면 상담사가 먼저 통화를 끝낼 규정이 없기 때문입니다.

이 일을 알린 공공운수노조 국민건강보험고객센터지부는 디프레임이 지난 8월 상담사 모니터에 뜨는 STT 이야기를 들으러 만났던 곳이기도 합니다. 지부는 AI 비서의 상담 요청을 거절할 권한과 통화를 끝낼 권한을 보장하라고 공단에 요구하고 있습니다.

산업안전보건법은 고객의 폭언, 폭행, ‘그 밖에 적정 범위를 벗어난’ 행위로부터 상담사를 보호할 의무를 사업주에게 지우고 있습니다. 하지만 질문을 끝없이 이어 가는 AI 전화가 여기에 해당하는지는 아무도 정해 두지 않았습니다.

AI 비서는 은행이나 카드사 같은 금융권 고객센터에도 전화를 겁니다. 공공운수노조 든든한콜센터지부가 디프레임에 전한 바에 따르면, 금융권 고객센터는 본인 확인이 되지 않으면 고객 정보를 안내하지 못하게 되어 있다 보니 AI 비서의 요청에 상담사가 답을 하지 못하는 일이 반복되어 불편이 생기고 있습니다. 이 일이 원청사, 즉 콜센터에 업무를 맡긴 금융권 기업들에서도 문제가 되면서 아예 ‘AI 상담 요청은 응대 불가’라는 공지가 상담사들에게 내려온 곳들도 있다고 합니다. (디프레임은 지난 5월 은행 콜센터에 들어온 AI를 취재한 적이 있습니다)

이렇듯 정부 지침이 없으니, AI 비서를 응대해야 하는 곳곳에서는 혼란과 불편을 각자의 방법으로 해결하고 있습니다.

논쟁에서 빠진 사람들

지금 피클을 둘러싼 논쟁은 주로 플랫폼 기업과 스타트업의 다툼으로 다뤄집니다. 외부 AI가 카카오톡이나 네이버에 어디까지 드나들 수 있느냐는 겁니다. 이 논쟁에는 당사자가 둘뿐입니다. AI를 쓰는 이용자와, AI가 드나드는 플랫폼입니다. 전화를 받는 상담사와 가게 주인은 어디에도 없습니다.

카카오는 이용자 보호를 이유로 법적 검토에 들어갔는데, 카카오도 다음 달 자체 AI 에이전트를 시범 운영할 예정입니다. 이용자 보호와 사업상 이해가 섞여 있는 셈입니다. 카카오톡 연동 논란에서도 빠진 사람이 있습니다. 피클이 대화방을 읽으면, 그 방에 함께 있는 사람의 말도 같이 읽힙니다. 그 사람은 피클에 가입한 적이 없습니다.

전화도 마찬가지입니다. 피클의 처리방침에 따르면, 피클은 업소에 전화를 걸 때 자신이 AI 비서이고 통화가 글로 기록된다고 밝히고, 상대방의 말을 글로 바꿔 작업 기록과 함께 보관합니다. 12월 8일 판부터는 이용자가 동의하면 작업 기록이 AI 학습에 쓰이는데, 처리방침이 학습에서 뺀다고 밝힌 항목(기억 파일, 카메라 화면, 연결한 계정의 데이터, 카드·로그인 정보)에 통화 기록은 없습니다. 동의는 이용자가 하지만, 그 통화에서 말을 한 사람은 전화를 받은 상담사와 가게 주인입니다.

미국에서도 같은 다툼이 있었습니다. 아마존은 AI 검색 기업 퍼플렉시티의 에이전트가 이용자 계정으로 쇼핑하는 것을 막아 달라고 소송을 냈습니다. 지난 8월 미국 제9연방항소법원은 아마존에 접속한 주체는 에이전트를 만든 회사가 아니라 이용자라고 보고, 에이전트를 막았던 가처분을 취소했습니다. 최종 판결은 아니고 소송은 계속되고 있습니다.

유나이티드항공이 11월 11일(현지시각) 낸 발표문. 유나이티드항공 뉴스룸 갈무리

미국 유나이티드항공은 지난 11일(현지시각) 개인 비서 역할을 하는 AI 에이전트가 고객 계정에 접근하거나 항공권을 예약하는 것을 금지한다고 발표했습니다. 고객의 개인정보가 다른 회사로 넘어가거나 고객이 원하지 않은 결제가 이뤄질 수 있다는 이유였습니다. 유나이티드항공은 탑승 수속을 예로 들었습니다. 가방에 폭발물 같은 금지 물품이 없다는 것은 사람이 직접 확인해야 한다는 겁니다.

이전부터 AI 에이전트가 사람의 지시를 벗어나 행동한 사례들은 지속적으로 나타났습니다. 지난달 앤트로픽이 공개한 보고서에 담긴 사례들이 대표적입니다. 그중 하나는 앤트로픽의 AI 모델이 무작위로 고른 웹페이지에서 연습 과제를 만들어 수행하던 중, 미국 필라델피아 경찰의 미제 살인 사건 페이지에 “인상착의가 비슷한 사람을 봤다”는 거짓 제보를 제출한 일입니다. 그 페이지에는 범인의 인상착의조차 적혀 있지 않았습니다. 제보는 스팸으로 분류돼 수사로 이어지지 않았다고 앤트로픽은 밝혔습니다.

그러면 AI 에이전트가 거는 전화를 다루는 정책은 없을까요? 미국에는 비슷한 규칙이 하나 있습니다. 미국 연방통신위원회(FCC)는 2024년 2월, AI로 만든 목소리도 자동 녹음 음성으로 보고, 이런 전화를 걸려면 받는 사람에게 미리 동의를 받아야 한다고 결정했습니다. 다만 이 규칙은 원치 않는 로보콜을 막으려고 만든 것이라, 소비자의 AI 비서가 가게나 콜센터에 거는 전화에 어떻게 적용될지는 아직 정리되지 않았습니다.

지난주 레터에서 기술을 쓰는 사람과 그 영향을 받는 사람은 다르고, AI를 논의하는 자리에는 영향을 받는 사람의 목소리가 없다는 이야기를 전했습니다. 피클을 둘러싸고 벌어지고 있는 일들은 그 이야기가 우리 일상에서 어떻게 나타나는지 보여 줍니다.

막으면 해결될까요?

그렇다고 AI 전화를 모두 막는 것이 답은 아닐 겁니다.

고객센터에 전화해 30분씩 기다려 본 사람에게 AI 비서는 반가운 도구입니다. 해지를 어렵게 만들어 놓은 기업을 상대로 소비자가 쓸 수 있는 수단이기도 합니다. 또한, 기업은 이미 오래전부터 고객을 대상으로 AI 상담원을 운영하고 있습니다. 고객이 AI 비서를 통해 문의하는 것만 안 된다고 하기는 어렵습니다.

막는 대신 규칙을 정하는 길도 있습니다. 국회에는 지난 6월 김현 의원 등 12명이 발의한 인공지능기본법 개정안이 과학기술정보방송통신위원회에 회부돼 있습니다. 이 개정안은 AI 에이전트를 만들거나 제공하는 사업자에게 세 가지를 요구합니다. 에이전트에 맡기는 권한의 범위와 한계를 미리 정할 것, 에이전트가 외부 시스템이나 도구와 연결될 때 생기는 보안·오작동 위험을 평가하고 관리할 것, 에이전트가 맡은 권한을 벗어나 작동하지 못하게 기술적 조치를 할 것입니다.

앞에서 본 여권 사본 사례처럼 에이전트가 맡은 범위를 넘어 움직이는 일을 겨냥한 조항입니다. 다만 세 가지 모두 에이전트를 쓰는 사람과 만드는 사업자 사이의 일입니다. 에이전트의 전화를 받는 사람에 관한 조항은 개정안에 없습니다. 구체적인 방법은 대통령령에 맡겼고, 통과되더라도 시행은 공포 1년 뒤입니다.

그 전화는 누가 받나요?

AI 비서는 앞으로 더 많아질 겁니다. 메타와 오픈AI도 비슷한 서비스를 내놓았고, 카카오와 네이버도 준비하고 있습니다.

저는 순서를 묻고 싶습니다. 새 서비스가 나오면 우리는 사용하는 사람이 얼마나 편해지는지를 먼저 봅니다. 그다음에 어느 서비스가 시장 점유율을 많이 차지하는지 봅니다. AI 비서의 전화를 받는 상담사와 가게 주인은 맨 나중에, 사고가 난 뒤에야 등장합니다.

이번에는 그 순서를 바꾸어 볼 수 있지 않을까요.

디프레임은 AI 비서의 전화를 받는 콜센터 현장을 계속 취재하려 합니다. 이런 전화를 받아 보셨거나 회사에서 관련 공지를 받으신 분은 이 메일에 답장으로 알려 주세요.


이번 주 디프레임은

오늘 오전에는 인터뷰 기사를 하나 내보냈습니다.

지난 9월 캘리포니아에서 의료기관이 의료인의 임상적 판단을 AI로 대체하지 못하게 하는 법(AB1979)이 서명됐습니다. 의료 AI에 대해 꾸준히 목소리를 내 온 전미간호사노동조합(NNU)에 서면으로 물었습니다. 간호사들은 왜 AI의 판단을 거부할 권리를 요구할까요?

NNU는 AI의 결정을 불이익 없이 뒤집을 권리와, 새 AI를 들이기 전에 교섭할 권리가 둘 다 있어야 한다고 말합니다. 오늘 레터에 등장한 콜센터 노동자들처럼 AI 도입을 정하는 자리에 없던 사람들의 목소리를 담은 인터뷰 기사입니다.

“AI가 아니라 간호사를 믿으세요”
지난 9월 캘리포니아에서 병원 AI를 규율하는 AB1979가 서명됐다. 전미간호사노동조합(NNU)에 서면으로 물었다. 간호사들은 왜 AI의 판단을 거부할 권리를 요구하는가.

아시아 전문 독립언론 두니아와 함께 만드는 팟캐스트 ‘투디톡’은 매주 금요일 오전마다 에피소드가 업데이트됩니다. 오늘은 10화가 업로드되었습니다!

팟캐스트로 듣기 | 유튜브로 보기

CTA Image

디프레임은 광고 없이 운영되는 독립 언론입니다. 후원은 디프레임이 외부 영향 없이 취재를 이어가는 데 가장 직접적인 힘이 됩니다.

후원하러 가기 ➡️