동네 맞춤 일일 퍼즐을 혼자 굴리는 검수법

문제를 만드는 일보다 거르는 일이 중요해졌다

일본의 개인 개발자가 만든 Daily Who는 매일 자정 역사 인물 한 명을 문제로 낸다. 이용자는 일본어로 질문을 다섯 번까지 할 수 있으며, 문제는 그날 즉석에서 만들지 않고 30일치를 미리 채워 둔다.

이 서비스는 인공지능에게 이름을 말하지 말라고 지시하는 데서 끝내지 않았다. 답변이 만들어진 뒤 인물 이름과 별칭이 섞였는지 다시 찾아 가리는 검사를 붙였다. 문제 생성과 공개 사이에 별도의 차단 장치를 둔 셈이다.

일일 단어 퍼즐 Purdle도 비슷하다. 인공지능이 단어 후보를 내면 기존 문제와 겹치는지, 너무 드문 단어인지, 비속어가 포함됐는지를 검사하고 통과한 결과만 이용자 화면으로 보낸다.

단어 묶음 퍼즐을 대상으로 한 연구에서는 사람 제작 문제 20개와 여러 방식으로 만든 인공지능 문제를 비교했다. 인공지능 문제는 대략 절반의 비교에서 사람 문제와 같거나 더 재미있고 창의적이며 어렵다는 평가를 받았지만, 제작 과정에는 생성자와 편집자 역할, 사람 평가가 함께 들어갔다.

Endless Trivia는 출시됐다.

부산의 카페 교육으로 좁혀 보면

가령 부산 중구에서 카페 직원 열두 명의 일본어 응대를 교육하는 매니저를 생각해 보자. 이 사람은 메뉴 설명, 알레르기 확인, 길 안내처럼 매장에서 반복되는 상황을 골라 매일 짧은 문제를 보내고 싶다.

지금은 일본어 문장을 부탁해 받은 뒤 사전을 다시 보고, 한국어 뜻을 옮겨 적고, 선택지 세 개를 만든다. 이어 정답이 둘로 읽히지 않는지 확인하고 단체 대화방에 올리므로, 문제 하나를 만들 때도 같은 내용을 여러 화면에 옮겨 적게 된다.

서비스를 만든다면 첫 작업은 인공지능 버튼이 아니라 ‘문제 보관함’이다. 날짜, 매장 상황, 일본어 문장, 허용할 정답, 뜻의 근거, 공개 상태를 한곳에 두고 30일치를 미리 쌓는다. 오늘 문제가 실패해도 이미 승인된 예비 문제를 내보낼 수 있어야 한다.

인공지능은 이 보관함에 초안을 넣는 역할만 맡는다. 시스템은 글자 수, 일본어 표기 형식, 최근 문제와의 중복, 정답이 힌트에 그대로 노출됐는지, 허용 답이 하나인지부터 검사한다. 알레르기나 안전 안내처럼 잘못 말하면 문제가 커지는 문장은 자동 승인 대상에서 제외한다.

검사 화면에는 긴 점수표 대신 실패 이유를 바로 보여준다. ‘최근 14일 안에 같은 표현이 나옴’, ‘두 선택지가 모두 자연스러움’, ‘근거로 지정한 사전 뜻과 설명이 다름’처럼 고칠 행동이 분명해야 한다. 통과한 문제만 휴대전화 크기의 미리보기 화면에서 다시 풀어 본다.

재생성도 전체 묶음이 아니라 실패한 문제 한 건에만 적용한다. 처음에는 하루 열 번처럼 생성 상한을 두고, 같은 문제가 두 번 연속 실패하면 더 만들지 말고 사람 수정 목록으로 넘길 수 있다. 열 번은 시작값 제안이며, 실제 상한은 한 달 동안 문제당 사용료와 실패 횟수를 기록한 뒤 조정해야 한다.

공개 직전에는 매니저가 직접 읽고 푸는 일이 남는다. 문법이 맞아도 실제 손님에게 무례하게 들릴 수 있고, 초급자에게 쉬운 단어가 특정 업종에서는 다른 뜻으로 쓰일 수 있기 때문이다. 인공지능은 준비 시간을 줄일 뿐, 현장 표현을 승인하는 사람을 대신하지 않는다.

지역을 부산 중구 카페처럼 좁히면 전국 일본어 학습 앱과 같은 문제를 풀 필요가 없다. 첫 문제 묶음을 실제 메뉴와 자주 쓰는 상황에 맞출 수 있고, 첫 이용자도 한 번의 방문으로 만날 수 있다. 직원들이 틀린 표현이 쌓이면 다음 주 문제의 소재도 바로 나온다.

먼저 운영해 본 서비스들

뉴질랜드의 Decryptic은 인공지능으로 매일 암호식 십자말풀이 단서를 만드는 서비스다. 검증된 격자 틀과 자동 구조 검사를 쓰지만, 개발자가 모든 단서를 읽고 공개 전 퍼즐을 직접 푼다.

비공개 시험을 거쳐 구글 플레이에 출시됐으며 당일 문제는 무료다. 광고 제거와 지난 문제 이용권에는 일회성 결제를 붙였다. 개발자는 기술적으로 맞는 단서와 재미있고 공정한 단서를 가르는 일이 가장 큰 병목이었다고 밝혔다.

인도의 1인 제작 서비스 Grid Genius는 주제와 난이도를 고르면 인공지능이 십자말풀이를 만든다. 제작자는 생성 지시와 생성 알고리즘을 계속 조정하고, 개선한 내용은 직접 풀어 본 뒤 배포한다고 설명한다.

무료 일일 문제를 제공하며 현재 웹과 아이폰·안드로이드 앱을 운영한다. 무제한 퍼즐, 추가 힌트, 꾸미기 요소에는 구독이나 별도 이용권을 붙였지만 이용자 수와 매출은 공개하지 않았다.

미국의 지역 장소 맞히기 게임 Pinpoint는 인공지능을 플레이 중에 부르지 않고 장소 목록을 준비할 때만 사용했다. 정답은 인공지능의 말로 판단하지 않았다.

제작자 기록에 따르면 장소 하나를 준비하는 인공지능 사용료는 미화 1센트보다 적었다. 장소 정보를 저장해 재사용했다. 비용 통제 가능성과 큰 이용자 확보는 별개의 문제다.

여기서 바로 만들어 볼 수 있는 것들

부산 중구 카페 일본어 3분 문제

메뉴 주문과 길 안내 상황을 매일 한 문제씩 내는 직원 교육 서비스다. 일본인 손님 응대를 시작하려는 카페의 점장과 아르바이트 직원이 쓴다.

인공지능 초안과 표기·중복 검사를 묶으면 점장이 매일 문제를 새로 쓰는 부담을 줄일 수 있다. 첫 화면에는 오늘의 손님 상황, 일본어 한 문장, 응답 선택지 세 개, 점장 확인 표시를 둔다.

동네 기사로 만드는 오늘의 퀴즈

지역 언론사나 구청 소식의 원문을 바탕으로 하루 한 문제를 만들고, 풀이 뒤 근거 문장을 보여 주는 서비스다. 기자가 적어 매일 별도 게임을 만들기 어려운 구 단위 인터넷 신문이 쓴다.

문제와 원문을 연결하면 인공지능이 기사 밖의 사실을 섞었는지 검사하기 쉬워졌다. 첫 화면에는 오늘의 질문, 네 개의 선택지, 정답 공개 뒤 열리는 원문 기사 버튼을 둔다.

울산 부품공장 교대 전 안전문제

공장의 안전 수칙과 작업 지침에서 교대 전 한 문제를 만들어 승인 후 배포하는 서비스다. 종이 교육자료를 반복해서 설명하는 자동차 부품공장 안전 담당자와 현장 조장이 쓴다.

내부 문서만 근거로 삼고 답이 적힌 문단을 함께 보여 주면 엉뚱한 상식을 섞는 위험을 줄일 수 있다. 첫 화면에는 오늘 작업, 위험 상황 그림이나 문장, 행동 선택지, 근거 지침 보기 버튼을 놓는다.

군산 월명동 하루 걷기 도전

동네의 장소와 관찰 소재를 이용해 매일 짧은 걷기 과제를 내는 서비스다. 같은 길이 지루해진 월명동 주민 걷기 모임 운영자와 참가자가 쓴다.

장소 좌표와 공개 가능 시간을 먼저 검사하고, 실패한 과제만 바꾸면 작은 지역에서도 문제 재고를 관리할 수 있다. 첫 화면에는 오늘 찾아갈 범위, 관찰할 대상, 지도, 완료 기록 버튼을 둔다.

오늘 카페 세 곳에 물어볼 것

부산 중구의 카페 세 곳에 전화해 최근 손님 응대에서 반복된 일본어 상황 하나와 현재 직원에게 알려 주는 방법을 묻는다. 이어 회원 가입 없이 하루 3분짜리 문제를 일주일 받아 볼 의향이 있는지 확인한다.

세 곳 중 두 곳이 반복 상황을 구체적으로 말하고 시험 사용에 동의하면 첫 문제 일곱 개를 만들어 볼 만하다. 상황이 모두 다르거나 교육 필요를 느끼지 못한다면 지역보다 업종을 더 좁히거나, 일본어가 아닌 실제로 반복되는 교육 주제로 바꾼다.