모델 교체 예산을 잡는 품질 점검 서비스

모델 이름만 바꾸면 끝나는 일이 아니다

오픈AI는 2026년 10월 14일, 응용프로그램 연결 창구를 통해 제공하던 GPT-4 계열 모델을 2027년 1월 14일에 제거한다고 알렸다. 연결 창구는 다른 서비스가 오픈AI 모델을 불러 쓰는 통로다. 종료 대상은 GPT-4o, GPT-4o mini, GPT-4.1, GPT-4.1 mini 네 계열이며 날짜가 붙은 고정 버전으로는 다섯 개다.

해당 모델을 회사 업무에 맞게 추가 학습한 맞춤형 버전도 같은 일정을 따른다. 고객 상담 말투나 문서 분류 기준을 따로 학습시킨 서비스라면, 단순히 새 모델 이름으로 바꾸는 것보다 일이 커질 수 있다. 학습 자료와 평가 사례를 보존하고 새 기반 모델에서 다시 검증해야 한다.

이번 종료는 신규 판매만 멈추는 것이 아니다. 마감일 뒤에는 해당 모델 이름으로 요청을 보내도 결과를 받을 수 없다는 뜻이다. 오픈AI는 후속 모델을 안내하고 있지만, 기존 답변과 같은 품질·속도·비용을 보장한다는 의미는 아니다.

2026년 2월 ChatGPT 화면에서 GPT-4o 등이 빠진 일과도 구분해야 한다. 당시에는 연결 창구에 변화가 없었지만, 10월에 별도의 종료 일정이 발표됐다. ChatGPT 화면만 살펴본 회사는 자기 서비스 안에서 어떤 모델을 부르는지 놓칠 수 있다.

마이크로소프트의 Azure를 통해 같은 계열을 쓰는 회사에는 별도 일정이 적용된다. 현재 마이크로소프트 문서에는 주요 고정 버전의 종료일이 2027년 4월 14일로 표시돼 있다. 따라서 점검 서비스는 모델 이름뿐 아니라 어느 회사의 통로로 쓰는지도 함께 찾아야 한다.

새 지갑은 고객운영 책임자에게 생긴다

여기서 세울 사업 가정은 모델 교체비가 개발팀의 작업비에서 고객운영팀의 품질 보호비로 옮겨간다는 것이다. 상담원 열두 명을 둔 온라인 교육업체의 고객운영팀장을 생각해 보자. 이 팀장은 문의 분류, 답변 초안, 긴 상담 요약에 인공지능을 쓰지만 정확한 모델 이름은 외주 개발사만 알고 있을 수 있다.

지금은 상담원이 문의를 열고, 자동으로 붙은 분류를 확인하고, 만들어진 답변을 회사 말투로 고친 뒤 고객에게 보낸다. 환불이나 수강 연장처럼 민감한 문의는 운영팀장이 다시 읽는다. 분류와 답변 작성과 상담 요약에 서로 다른 모델이 숨어 있다면 같은 내용을 여러 화면에서 확인해야 한다.

종료 공지가 나오면 먼저 어디에서 해당 모델을 쓰는지 찾아야 한다. 서비스 코드뿐 아니라 예약 작업, 관리자 화면, 고객사별 설정, 맞춤형 모델까지 확인해야 한다. 하나라도 빠지면 마감일 뒤 특정 기능만 조용히 멈출 수 있다.

점검 서비스를 붙인 뒤의 모습은 달라진다. 지난 상담에서 개인정보를 가린 대표 사례를 고르고, 기존 모델과 새 모델에 같은 질문을 넣어 결과를 나란히 보여준다. 운영팀장은 잘못된 환불 안내, 어색한 존댓말, 빠진 날짜, 지나치게 긴 답변에 표시한다.

비용도 모델 한 번을 부르는 가격만 비교해서는 부족하다. 새 모델의 답변이 길어지거나 재시도가 늘고, 상담원이 더 많이 고쳐야 한다면 전체 비용은 오를 수 있다. 운영팀장이 평가받는 기준인 오답 수, 답변 시간, 사람에게 넘긴 비율, 고객 불만, 처리 완료 한 건당 비용을 함께 보여줘야 한다.

그래도 사람 손에 남는 일이 있다. 환불 정책이 맞는지, 화난 고객에게 어떤 표현을 쓸지, 드문 예외를 자동 처리해도 되는지는 사람이 승인해야 한다. 좋은 점검 서비스는 사람을 없애겠다고 하지 않고 사람이 꼭 볼 사례를 앞에 모아 준다.

돈을 쓰는 사람도 달라진다. 개발책임자는 실제 교체가 가능한지 확인하지만, 고객운영팀장이 통과 기준과 마감일을 정하고 예산을 요구할 근거를 갖는다. 따라서 이 서비스를 팔 때는 모델 성능보다 ‘고객에게 틀린 답을 내보내지 않고 기한 안에 교체했다’는 결과를 약속해야 한다.

해외에서는 점검 기록이 운영 도구가 됐다

독일의 투자·은행 서비스 Trade Republic은 기존의 순서가 고정된 인공지능 처리 방식을 여러 도구를 선택해 일하는 방식으로 바꾸면서 바로 교체하지 않았다. Trade Republic은 변경 결과를 기록하고, 두 평가 세트를 모두 통과한 변경만 배포했다.

이 회사는 Langfuse를 직접 설치해 모든 실행을 기록하고, 개선용 사례와 최종 확인용 사례를 분리했다. 두 묶음을 모두 통과한 변경만 내보냈고, 한 팀에서 시작한 방식이 여러 팀으로 확대됐다. 공급사가 공개한 고객 사례이므로 성과 해석에는 별도 확인이 필요하지만, 모델 변경비가 개발비가 아니라 운영 통제비로 바뀌는 모습을 보여준다.

영국과 아일랜드에서 출발한 결제회사 SumUp은 카드 결제와 단말기, 사업자용 금융 서비스를 가맹점에 제공한다. 고객 문의의 첫 답변을 인공지능이 맡게 하면서 한 시장의 적은 상담량부터 시작했다.

Langfuse 사례에 따르면 월 대화량은 1천 건에서 60만 건으로 늘었고, 35개국 이상으로 확대됐다. 인공지능이 사람에게 넘기지 않고 해결한 비율은 약 절반이었다고 회사 측은 밝혔다. 이 수치는 자체 고객 사례이지만, 규모가 커질수록 답변 기록과 변경 전후 비교에 돈을 쓰게 된다는 점은 분명하다.

오스트레일리아의 Canva는 개인과 기업에 디자인 구독 서비스를 판매하며, 도움말 상담과 문의 처리를 인공지능으로 자동화했다. 엔지니어 네 명이 만든 체계를 운영·품질 담당자와 현지 전문가도 함께 쓰게 했다.

Canva는 자동 점검뿐 아니라 매주 사람이 대화를 검토했고, 일본 시장의 업무용 존댓말은 현지 마케팅 담당자가 평가 기준을 만들었다. 회사 측은 인공지능 지원이 전체 이용자 상호작용의 80%를 처리한다고 밝혔다. 공급사 사례라 수치 확인은 필요하지만, 한국어 말투와 정책 판단을 운영팀에 맡기는 제품 방향을 참고할 수 있다.

여기서 바로 만들 수 있는 네 가지

1. 모델 종료일 탐지함

서비스 안에서 쓰는 모델 이름과 공급 통로를 찾아 종료일 순서로 보여주는 서비스다. 인공지능 상담이나 문서 요약을 외주로 붙여 정확한 사용 목록이 없는 중소 서비스 운영자가 쓴다.

종료 대상과 공급사별 일정이 갈리기 시작한 지금 필요하다. 첫 화면에는 ‘90일 안에 종료’, ‘맞춤형 모델’, ‘담당자 없음’ 세 묶음과 가장 가까운 마감일을 놓는다.

2. 한국어 답변 교체 시험장

기존 모델과 후보 모델에 같은 상담을 넣고 말투, 숫자, 정책 준수, 처리 비용을 비교하는 서비스다. 환불·배송·예약 변경 답변을 자동 작성하는 온라인몰 고객운영팀이 쓴다.

추천 후속 모델도 같은 결과를 보장하지 않기 때문에 지금 필요하다. 첫 화면에는 같은 질문에 대한 두 답변과 ‘통과’, ‘수정’, ‘사람 확인’ 버튼을 나란히 놓는다.

3. 사람 검수 의뢰함

자동 비교로 판단하기 어려운 답변만 업종 경험이 있는 검수자에게 보내는 서비스다. 상담 자동화를 처음 교체하면서 내부에 한국어 품질 담당자가 없는 교육·여행·예약 서비스가 쓴다.

모델 교체 뒤에도 화난 고객의 말투나 예외 환불처럼 사람 판단이 필요한 일이 남는다. 첫 화면에는 검수할 대화, 회사 정책, 위험 표시, 승인 마감 시간을 한 장에 놓는다.

4. 고객사 제출용 전환 기록실

어떤 모델을 왜 바꿨고 무엇을 시험했으며 누가 승인했는지 문서로 남기는 서비스다. 여러 고객사에 상담 요약이나 문서 분류 기능을 납품한 국내 소프트웨어 회사가 쓴다.

모델 종료가 공급사의 내부 작업으로 끝나지 않고 고객 안내와 계약 확인으로 이어지기 때문에 지금 필요하다. 첫 화면에는 고객사별 진행률, 미통과 항목, 승인자, 안내문 초안을 놓는다.

오늘 한 회사에 물어볼 것

인공지능 상담이나 문서 요약을 운영하는 회사 한 곳에 전화해 ‘현재 쓰는 모델 이름, 쓰이는 화면, 교체 결과를 승인할 사람을 10분 안에 찾을 수 있는가’라고 물어본다. 셋 중 하나라도 바로 답하지 못하고, 마감 전에 고객에게 보여줄 시험 기록도 없다면 해 볼 만하다. 모두 바로 답하고 이미 같은 비교·승인 도구를 쓰고 있다면 다른 업종을 찾아본다.