가상 고객으로 상담 자동화 실수를 먼저 잡는다

가상 고객으로 실패 장면을 미리 돌려 보는 상담 자동화 검수 서비스가, 채팅 상담 프로그램 자체보다 작고 구체적인 사업이 될 수 있다.

고객에게 보여 주기 전에 1만 6천 건 넘게 시험했다

브라질 금융사 누뱅크 연구진은 카드 배송과 카드 관리 문의를 처리하는 인공지능 상담 도우미를 실제 고객에게 적용하기 전에 가상 고객과 대화시켰다. 가상 고객을 이용해 배송 상태 확인, 주소 확인, 재발송 같은 업무 흐름을 시험했고, 실제 운영 시스템 대신 시험용 조회 결과를 받아 대화를 이어 갔다.

연구진은 답변 방식과 설정을 바꿔 가며 1만 6천 건이 넘는 가상 대화를 돌렸다. 여기서 고른 방식을 실제 고객 8,400개 상담에 나눠 적용하자, 사람 상담원을 요청하지 않고 상담을 마친 비율이 8.82%포인트 높아졌다고 밝혔다. 기존 비율이 50%였다고 가정하면 58.82%가 되는 크기지만, 실제 전후 비율은 공개하지 않았다.

고객이 해당 상담을 다른 사람에게 권할지 묻는 점수는 1.21점 낮아졌으며, 연구진은 의미 있는 변화로 볼 수 없다고 판단했다. 즉 사람에게 넘어가지 않은 상담은 늘었지만 고객 만족까지 좋아졌다고 말할 수는 없다. 이 결과는 동료 연구자의 검토를 마치지 않은 누뱅크와 협력사 연구진의 자체 보고이기도 하다.

누뱅크는 초기에는 인공지능이 배송 상태 확인, 주소 검증, 재발송이라는 세 단계를 알아서 순서대로 실행하게 했다. 순서를 바꾸거나 중간 단계를 빠뜨리는 문제가 생기자, 세 절차를 하나의 고정된 처리 과정으로 묶었다. 말은 인공지능이 이해하되 실수가 큰 업무 순서는 사람이 정해 둔 셈이다.

국내에서도 자동상담의 약점은 뚜렷하다. 서울시가 온라인 쇼핑 이용자 1,000명을 조사했을 때 열 명 중 네 명꼴인 39.4%가 관련 없는 획일적 답변을 가장 큰 불편으로 꼽았고, 인공지능 채팅 상담을 선호한다는 응답은 4.1%였다. 자동답변을 더 많이 붙이는 일보다 틀린 답과 막힌 장면을 먼저 찾는 일이 필요한 이유다.

직원 열두 명 쇼핑몰의 하루가 달라지는 자리

가령 직원 열두 명인 맞춤 가구 쇼핑몰의 고객지원팀장을 생각해 보자. 한 문의를 처리하려면 쇼핑몰 주문 화면, 택배사 조회 화면, 교환 규정 문서를 오가며 주문번호와 배송 상태를 두세 번 옮겨 적는다. 전화로 받은 특이사항은 다시 공동 문서에 남긴다.

문제는 질문이 규정대로만 들어오지 않는다는 데 있다. “기사님이 왔는데 엘리베이터가 고장 났어요”, “상판만 흠집인데 전부 반품해야 하나요”, “부모님 주문을 대신 취소해 주세요”처럼 배송, 비용, 본인 확인이 한 문장에 섞인다. 새 상담 도우미가 평범한 배송 조회에는 답해도 이런 경계 상황에서 환불을 약속하거나 사람 연결을 늦출 수 있다.

가상 고객 시험은 여기서 시작한다. 개인정보를 가린 지난 상담과 현재 규정을 바탕으로 오탈자가 많은 고객, 같은 질문을 반복하는 고객, 본인 확인을 거부하는 고객, 화가 난 고객을 만든다. 주문 조회 결과도 정상 배송뿐 아니라 주소 불일치, 분실 의심, 설치 일정 미정처럼 여러 상태로 바꿔 넣는다.

판정 기준도 단순히 답이 자연스러운지에 두지 않는다. 현재 규정을 인용했는지, 확정할 수 없는 비용을 약속하지 않았는지, 필요한 정보를 빠뜨리지 않았는지, 두 번 실패했을 때 사람에게 넘겼는지를 함께 본다. 고객이 대화를 포기했는데도 ‘상담원 연결 없음’을 성공으로 세면 결과가 왜곡된다.

교환 규정이 바뀐 날의 일도 달라진다. 예전에는 담당자가 몇 가지 질문만 직접 해 보고 상담 도우미를 고쳤다면, 이제는 저장해 둔 배송·교환·불만 상황을 다시 한꺼번에 실행한다. 어제까지 맞았던 답이 새 규정과 충돌하는 장면만 골라 사람이 확인할 수 있다.

그래도 사람 손에 남는 일이 있다. 제품 하자를 판정하고, 예외 보상을 승인하고, 책임 소재를 다투는 고객을 설득하는 일은 담당자가 해야 한다. 시험을 통과했다는 이유만으로 실제 주문 변경 권한을 바로 주지 않고, 처음에는 조회와 안내부터 맡긴 뒤 제한된 고객에게 적용해야 한다.

이 방식이 실패한다면 가상 고객이 실제 고객보다 지나치게 친절하거나, 사람에게 넘기지 않은 비율만 성과로 삼거나, 시험용 주문 상태가 실제 운영 화면과 다르기 때문이다. 독립 연구에서는 가상 고객을 만드는 방식에 따라 상담 성공률 평가가 최대 9%포인트 달라졌고 일부 말투와 집단을 제대로 대신하지 못했다. 따라서 가상 시험은 후보를 거르는 장치이지 실제 고객 시험을 없애는 장치가 아니다.

해외에서는 시험 기능을 별도 기능으로 제공하기 시작했다

미국과 아일랜드를 기반으로 운영되는 Intercom은 고객지원팀을 대상으로 ‘Fin 일괄 시험’ 기능을 제공한다. 기업이 과거에 실제로 받은 고객 질문을 넣으면, 인공지능 상담 도우미가 어떤 답을 하고 어느 문서를 근거로 삼았는지 여러 건을 한꺼번에 보여 준다. 시험 답변에는 비용을 받지 않고 실제 운영에서 문제를 처리한 결과에 따라 과금한다.

이 서비스는 새 상담 도우미를 빈 화면에서 시험하는 대신 이미 들어온 질문에서 시작한다. 지금은 언어별 답변, 지식 문서 선택, 정해 둔 자동 처리의 작동 여부까지 출시 전에 확인할 수 있다. 다만 과거 질문에 없던 새로운 사기 수법이나 드문 예외는 기업이 별도로 추가해야 한다.

미국 Salesforce의 ‘Agentforce Testing Center’는 기업이 시험 상황을 올리거나 업무 절차를 바탕으로 시험 질문을 자동으로 만들게 한다. 상담 도우미가 맞는 정보를 찾았는지, 필요한 작업을 실행했는지, 지시를 지켰는지, 답변이 얼마나 걸렸는지를 판정한다. 실제 고객과 주문 정보가 바뀌지 않도록 별도의 시험 공간에서 실행하라고 안내한다.

Salesforce는 자사 고객지원 사이트에서도 약 두 달 동안 제한 규칙을 정하고 시험한 뒤 상담 도우미를 공개했다고 밝혔다. 이후 170만 건이 넘는 대화에서 사람 개입 없는 처리 비율 76%를 기록했다는 회사 발표가 있지만, 독립적으로 검증된 수치는 아니다. 중요한 변화는 상담 자동화 업체가 답변 기능만이 아니라 출시 전 시험과 채점 기능을 별도 기능으로 다루기 시작했다는 점이다.

여기서 작게 시작할 수 있는 네 가지

1. 교환·반품 가상 고객 묶음

• 쇼핑몰 규정과 지난 상담을 받아 교환, 부분 환불, 배송 지연 상황을 자동으로 만들어 주는 서비스다.
• 배달 판매를 새로 시작한 반찬가게나 자체 쇼핑몰을 연 생활용품 업체가 쓴다.
• 상담 자동화는 늘고 있지만 작은 판매자는 시험 질문을 직접 만들 사람이 부족해 지금 필요하다.
• 첫 화면에는 업종 선택, 규정 문서 올리기, ‘가상 문의 20개 만들기’ 버튼을 놓는다.

2. 규정 변경 뒤 재시험 알림

• 환불 기준이나 운영시간이 바뀌면 기존 답변을 다시 돌려 틀어진 부분만 알려 주는 서비스다.
• 보강 수업, 환불, 차량 운행 규정이 자주 바뀌는 직원 다섯 명 안팎의 학원이 쓴다.
• 상담 도우미는 처음보다 변경 뒤에 낡은 답을 계속하는 문제가 더 커서 지금 필요하다.
• 첫 화면에는 이전 규정과 새 규정을 나란히 올리고 달라진 답변만 보는 버튼을 둔다.

3. 사람 연결 장면 점검기

• 상담 도우미가 답을 멈추고 담당자에게 넘겨야 할 순간을 찾아 실제로 연결되는지 시험한다.
• 예약 변경, 진료비 문의, 보호자 대리 요청을 받는 동네 병원 예약 담당자가 쓴다.
• 민감한 문의에서는 답변을 잘하는 능력보다 제때 멈추는 능력이 중요해 지금 필요하다.
• 첫 화면에는 ‘즉시 연결’, ‘두 번 실패 뒤 연결’, ‘운영시간 밖 접수’ 세 가지 시험을 놓는다.

4. 신입 상담원용 가상 손님 연습실

• 인공지능이 까다로운 고객 역할을 하고 신입 상담원의 설명, 확인 질문, 규정 준수를 되짚어 주는 서비스다.
• 계절마다 단기 상담원을 뽑는 여행 예약업체나 지역 행사 접수 대행사가 쓴다.
• 실제 고객을 교육 대상으로 삼지 않고도 반복 연습과 현장 투입 판단을 할 수 있어 지금 필요하다.
• 첫 화면에는 오늘 연습할 상황 하나, 통과 기준 세 가지, 대화 시작 버튼만 둔다.

오늘 확인해 볼 것

최근 상담 중 사람에게 넘어갔거나 고객이 다시 문의한 20건을 골라 실패 이유만 적어 본다. 개인정보는 지우고 ‘규정이 모호함’, ‘조회 실패’, ‘사람 연결 지연’처럼 한 줄로 분류하면 30분이면 된다. 같은 이유가 5건 이상 반복되면 그 장면 하나만 가상 고객 시험 서비스로 만들어 볼 만하다.