검색 노출을 지키는 인공지능 학습 관리 서비스

검색과 인공지능 학습을 나눠 관리하게 됐다

구글은 2026년 10월 30일 웹사이트가 여러 인공지능 사업자에게 학습 거부 의사를 공통으로 표시하는 방식을 지원하겠다고 발표했다. 사이트 첫 주소에 놓는 공개 안내 파일인 robots.txt에 __usage_ai-training이라는 표식을 쓰는 방식이며, 구글의 지원 목표는 2027년 초다.

이 표식은 기존 robots.txt 문법을 그대로 쓴다. 사이트 전체의 학습 이용을 거부하면서 보도자료 경로만 허용하는 식으로 페이지별 조건도 나눌 수 있어, 회사마다 다른 수집 프로그램 이름을 찾아 적는 수고를 줄일 수 있다.

구글은 공통 표식이 거부로 설정돼 있고 구글 전용 규칙이 따로 없으면 이를 Google-Extended 거부로 해석할 계획이다. Google-Extended는 2023년부터 제공된 구글 전용 표식으로, 구글 설명상 검색 결과 등록과 순위에는 영향을 주지 않으면서 향후 제미나이 모델 학습과 일부 검색 자료 연결 기능의 이용을 제한한다.

다만 공통 방식은 아직 인터넷 기술 규칙을 논의하는 국제 조직에 제출된 첫 초안이다. 확정된 표준이 아니므로 이름과 적용 순서가 바뀔 수 있고, 구글 외에 어느 회사가 언제 지원할지도 각각 확인해야 한다.

이 파일은 잠긴 문이 아니라 출입구에 붙인 이용 안내문에 가깝다. 안내를 무시하는 수집 프로그램의 접속까지 막지는 못하므로, 실제 차단에는 사이트 앞단의 보안 서비스나 로그인 같은 별도 수단이 필요하다.

콘텐츠 책임자에게 운영 예산이 생긴다

예를 들어 직원 열두 명인 유료 세무정보 사이트의 콘텐츠 책임자를 보자. 이 사람은 검색 방문자를 잃지 않으면서 수년 동안 만든 해설 문서가 인공지능 학습에 어디까지 쓰일지 정해야 한다.

지금은 개발 담당자에게 robots.txt를 요청한 뒤 구글 서치 콘솔, 사이트 앞단 보안 서비스, 이용약관 페이지까지 네 군데를 오가며 같은 결정을 옮겨 적는다. 인공지능 회사가 새 표식을 내놓으면 적용 대상을 찾아보고, 검색 수집 규칙과 충돌하지 않는지도 다시 확인한다.

문제는 설정 한 줄보다 그 뒤의 관리다. 누가 언제 전체 거부를 선택했는지, 특정 자료만 허용했는지, 지난달 설정이 그대로인지 남지 않으면 담당자가 바뀔 때 판단 근거도 사라진다.

공통 표식이 지원되면 한 화면에서 학습 허용 범위를 고르고, 구글 전용 규칙처럼 예외가 필요한 회사만 따로 지정하는 흐름을 만들 수 있다. 서비스가 최종 안내문을 만들어 주고 실제 사이트의 파일과 비교하면 잘못 복사한 줄이나 서로 충돌하는 설정도 바로 보여 줄 수 있다.

그래도 사람 손에 남는 결정은 많다. 무료 공개 글과 유료 자료를 같은 조건으로 둘지, 검색 답변에 출처로 등장하는 이익과 학습 거부를 어떻게 비교할지, 무시하는 수집 프로그램을 실제로 막을지는 콘텐츠 책임자가 정해야 한다.

이때 새로 예산을 쥘 가능성이 큰 사람은 개발팀장이 아니라 콘텐츠 운영이나 권리 관리를 맡은 책임자다. 이 사람은 검색 방문이 유지됐는지, 거부 대상으로 정한 경로가 빠짐없이 반영됐는지, 설정 변경과 대응 기록을 제때 제출할 수 있는지로 성과를 설명해야 한다.

따라서 이 시장에 팔 것은 단순한 설정 파일 생성기가 아니다. 매달 상태를 점검하고 변경 전후를 저장하며, 경영진이나 고객사에 보여 줄 한 장짜리 기록을 만드는 서비스가 결재 이유를 갖는다.

해외에서는 통제에서 거래로 넓히고 있다

미국의 클라우드플레어는 사이트 운영자가 인공지능 수집 프로그램을 허용하거나 막고, 접근에 가격을 붙이는 ‘Pay Per Crawl’을 2025년 7월 비공개 시험으로 시작했다. 가격을 받아들이지 않은 프로그램에는 결제가 필요하다는 뜻의 ‘402’ 응답을 돌려주는 구조다.

2026년 7월 기준으로도 이 기능은 제한된 고객만 쓰는 시험 단계이며, 누적 거래액과 참여 회사 수는 공개되지 않았다. 그래도 설정 관리 예산이 나중에는 콘텐츠 접근료와 정산 관리 예산으로 이어질 수 있다는 방향은 보여 준다.

미국에서 시작된 RSL 표준은 robots.txt에 라이선스 문서를 연결해 학습, 인공지능 답변 작성, 검색용 목록 생성을 서로 다른 조건으로 표시하려 한다. 무료 이용, 출처 표시, 구독, 수집 건별 대가처럼 허용 조건을 함께 적는 방식이다.

RSL 측은 2025년 9월 공개한 뒤 같은 해 12월까지 전 세계 1,500곳이 넘는 미디어·브랜드·기술 조직이 지지했다고 발표했다. 자체 발표 수치이며 실제 사용료 정산액은 공개되지 않았지만, 단순 거부 파일을 거래 조건 문서로 넓히려는 사례다.

미국의 톨비트는 콘텐츠 사이트가 페이지와 이용 목적별 가격을 정하고, 인공지능 서비스가 허가된 경로로 자료를 받아 가도록 연결한다. 운영자는 어떤 프로그램이 어느 페이지를 요청했는지 보고, 무허가 요청에는 결제나 계약을 요구할 수 있다.

톨비트는 자사 연결망이 1만 곳 이상의 사이트를 다룬다고 밝히지만 실제 지급 총액은 공개하지 않았다. 지금 확인되는 성과는 큰 수익보다 가격표, 이용 기록, 결제 창구를 한곳에 모으는 운영 방식이 만들어졌다는 데 있다.

지금 만들어 볼 수 있는 네 가지

1. 학습 거부 설정 건강검진

검색 방문 비중이 높은 독립 전문 매체 운영자가 주소만 넣으면 구글 검색 규칙, 구글 전용 학습 규칙, 공통 표식의 충돌을 찾아주는 서비스다. 공통 방식 도입을 앞두고 기존 설정과 새 설정을 함께 점검해야 하므로 지금 필요하다.

첫 화면에는 사이트 주소 입력칸과 ‘검색 유지’, ‘학습 이용’, ‘실제 접속 차단’ 세 가지 상태를 나란히 놓는다. 결과마다 고쳐 넣을 문장과 영향을 받는 경로를 보여 준다.

2. 여러 고객 사이트를 보는 관리판

병원과 쇼핑몰 홈페이지 여러 곳을 대신 관리하는 웹 제작사가 고객별 허용 정책과 적용 상태를 한 화면에서 보는 서비스다. 회사별 표식이 공통 표식과 함께 남기 때문에 사이트 수가 늘수록 복사와 확인 업무도 커진다.

첫 화면에는 고객 사이트 목록, 마지막 점검 시각, 설정 충돌 여부, 승인을 기다리는 변경안을 놓는다. 담당자는 변경안을 고객에게 보내 승인받은 뒤 적용 파일만 내려받는다.

3. 설정 변경 증거 보관함

유료 보고서와 교육 자료를 판매하는 회사가 안내 파일과 이용약관이 언제 어떻게 바뀌었는지 자동으로 보관하는 서비스다. 자발적 신호는 강제 차단이 아니므로 분쟁을 단정하기보다 당시 표시한 조건과 수집 기록을 남기는 일이 먼저 필요하다.

첫 화면에는 날짜순 변경 기록과 ‘누가 승인했는지’, ‘어느 경로가 달라졌는지’, ‘외부 프로그램이 확인했는지’를 놓는다. 월별 기록을 내려받아 내부 보고와 계약 협의에 쓸 수 있게 한다.

4. 콘텐츠 이용 조건과 문의 창구

산업 가격이나 법령 해설처럼 다시 만들기 어려운 자료를 쌓은 정보 사이트가 인공지능 회사에 허용 범위와 계약 문의 방법을 제시하는 서비스다. 해외에서 접근 건별 과금과 표준 라이선스가 시험되면서 단순 거부 뒤에 협상 창구를 붙일 이유가 생겼다.

첫 화면에는 ‘검색 허용’, ‘학습 금지’, ‘답변 인용 협의 가능’ 같은 선택지와 계약 문의 단추를 놓는다. 자동으로 돈을 받는다고 약속하지 말고, 요청 회사와 대상 페이지를 기록해 사람이 가격과 조건을 정하도록 만든다.

오늘 30분 안에 볼 것

고객으로 삼고 싶은 한 업종의 사이트 열 곳을 골라 주소 뒤에 /robots.txt를 붙여 열어 보자. 세 곳 이상에서 인공지능 회사별 규칙이 제각각이거나 검색 규칙과 구분하기 어려운 설정이 보이면, 주소 입력만으로 상태를 설명해 주는 첫 번째 서비스부터 시험해 볼 만하다.