AI 학습은 막고 AI 검색 답변에는 나오고 싶다면 — 학습용·검색용·사용자 요청 봇 구분과 CDN 기본 설정

‘AI는 다 막아 주세요’가 답변에서 빠지는 길이 되는 이유

“내 글이 AI 학습에 쓰이는 건 싫다. 그런데 손님이 ChatGPT나 Perplexity에 물었을 때 우리 가게는 나왔으면 좋겠다.” 사이트를 운영하는 분들께 자주 듣는 말입니다. 두 바람은 함께 설정으로 밝혀 둘 수 있습니다. 이 글에서 본 회사 대부분이 학습용 봇과 검색용 봇을 나눠 두었기 때문입니다(Microsoft는 예외라 아래에 따로 적었습니다). 다만 설정은 요청이라, 그대로 지켜진다는 보장까지는 아닙니다.

문제는 ‘AI 봇 차단’을 한 덩어리로 하는 경우입니다. 학습용만 막으려던 설정이 검색용 봇까지 막으면, 학습은 막았지만 답변에서도 함께 빠집니다. 이 글은 회사별로 무엇을 막으면 학습에서 빠지고, 무엇을 막으면 답변에서 빠지는지를 한 표로 정리하고, 사이트 운영자가 잘 모르는 CDN 쪽 설정과 이 사이트(hwano-ai.com)의 선택을 함께 적은 것입니다.

ChatGPT 검색에 나오기 위한 조건과 OpenAI 봇 셋의 차이는 ChatGPT 검색은 어떤 페이지를 인용하나에, 엔진마다 출처를 모으는 길이 어떻게 다른지는 AI 엔진마다 출처를 모으는 길이 다르다에 있으니 여기서는 ‘학습 거부’라는 한 가지 목적에 맞춰 봅니다.

봇은 세 종류다 — 학습용, 검색용, 사용자 요청용

회사 문서를 나란히 놓고 보면 봇이 대체로 세 갈래로 나뉩니다.

• 학습용: 모델을 학습시킬 자료를 모읍니다. 막으면 앞으로의 학습 자료에서 빠지겠다는 뜻을 전하는 것이고, 검색 답변과는 별개입니다.
• 검색용: AI 검색 기능이 쓸 색인을 만듭니다. 막으면 그 회사의 AI 검색 답변에서 빠지거나 노출이 줄어든다고 적혀 있습니다.
• 사용자 요청용: 사용자가 대화 중에 링크를 주거나 찾아보라고 했을 때 그 자리에서 페이지를 가져옵니다. 회사에 따라 robots.txt를 따르지 않을 수 있다고 적혀 있습니다.

OpenAI 크롤러 문서는 이 구분을 한 문장으로 적어 두었습니다.

“Each setting is independent of the others – for example, a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI’s generative AI foundation models.”

각 설정은 서로 독립적이어서, 검색 결과에 나오려고 OAI-SearchBot은 허용하면서 GPTBot은 막아 학습에 쓰지 말라는 뜻을 전할 수 있다는 말입니다. 같은 문단에는 두 봇을 모두 허용한 사이트라면 중복 크롤을 피하려고 한 번 크롤한 결과를 두 용도에 함께 쓸 수 있다는 문장도 있습니다.

회사별 표 — 무엇을 막으면 어디서 빠지나

아래 표는 2026년 10월 23일에 각 회사 문서를 열어 대조한 것입니다. ‘막으면 달라지는 것’ 칸은 문서에 적힌 범위만 옮겼습니다. 학습용 칸은 실제로 빠진다는 확인이 아니라 ‘쓰지 말라’는 뜻을 전한다는 의미입니다.

표에서 볼 것은 두 가지입니다.

첫째, ‘토큰’이라고 적은 둘은 따로 찾아오는 크롤러가 아닙니다. 구글 문서는 “Google-Extended doesn’t have a separate HTTP request user agent string”, 즉 별도의 사용자 에이전트가 없고 기존 구글 크롤러가 가져간 것을 어디에 쓸지 정하는 제어용 이름이라고 적었습니다. 애플도 “Applebot-Extended does not crawl webpages”라고 적었습니다. 그래서 문서대로라면 이 둘은 막아도 서버 로그의 방문 수가 줄 이유가 없습니다. 줄어드는 것은 방문이 아니라 쓰임새입니다.

둘째, 회사마다 사용자 요청용 봇의 태도가 다릅니다. OpenAI는 ChatGPT-User에 대해 “Because these actions are initiated by a user, robots.txt rules may not apply”라고, Perplexity는 Perplexity-User가 “generally ignores robots.txt rules”라고 적었습니다. 반면 Anthropic 문서는 Claude-User를 막으면 사용자 질문에 맞춰 내 콘텐츠를 가져오지 못하고 사용자가 시킨 웹 검색에서 노출이 줄 수 있다고 설명합니다. 사용자 요청용 봇을 막는 것은 ‘학습 거부’와 상관이 없고 답변 노출만 줄일 수 있으니, 학습만 막으려는 목적이라면 건드릴 이유가 없습니다.

구글 — 학습 거부와 AI 개요는 다른 스위치다

구글은 가장 헷갈리는 곳입니다. Google-Extended를 막아도 AI 개요·AI 모드에서는 빠지지 않습니다. 구글 문서의 문장입니다.

“Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search.”

구글의 AI 기능 문서는 AI가 검색에 들어가 있다고 설명하며, 크롤링 접근을 관리하는 수단이 “robots.txt directives for Googlebot”이라고 적었습니다. 내용 노출을 줄이려면 nosnippet·data-nosnippet·max-snippet·noindex를 씁니다. 여기에 2026년 8월 31일 전 세계 사이트에 적용된 서치콘솔의 생성형 AI 제어(설정 › Search generative AI)가 더해져, 속성 단위로 AI 개요·AI 모드·디스커버의 생성형 AI 기능에서 사이트를 뺄 수 있습니다. 이 도움말에는 “This control doesn’t affect AI training”, 즉 AI 학습에는 영향을 주지 않는다고 적혀 있고, 검색 생성형 AI 기능의 답을 만드는 모델의 학습을 제한하려면 Google-Extended를 쓰라고 안내합니다.

정리하면 구글에서는 학습 거부는 Google-Extended, AI 개요 노출 조절은 Googlebot·스니펫 제어·서치콘솔로 스위치가 갈립니다. 다만 Google-Extended는 Gemini 앱과 Vertex AI의 ‘Grounding with Google Search’ 그라운딩에도 쓰이므로, 막으면 Gemini 앱이 답을 만들 때 쓰는 재료에서는 빠질 수 있습니다. 스니펫 제어와 서치콘솔 설정의 자세한 내용은 구글 AI 개요·AI 모드에 나오려면에 있습니다.

애플 — robots.txt에 Applebot이 없으면 Googlebot 규칙을 따른다

애플 문서에는 놓치기 쉬운 문장이 하나 있습니다.

“If robots instructions don’t mention Applebot but mention Googlebot, the Apple robot will follow Googlebot instructions.”

robots.txt에 Applebot을 따로 적지 않았다면 Googlebot에 적은 규칙을 Applebot이 따른다는 뜻입니다. 애플 문서는 Applebot이 모은 데이터가 애플 기반 모델 학습에도 쓰일 수 있다고 적었지만, 그 쓰임은 Applebot-Extended로 따로 정한다고 설명합니다. 그러니 학습 거부는 Applebot-Extended로 하고, 검색 기능에 쓰이는 Applebot은 열어 두는 편이 목적에 맞습니다. 애플은 “Webpages that disallow Applebot-Extended can still be included in search results”라고 적었습니다.

Microsoft — 학습 전용 봇 이름을 찾지 못했다

이 글에서 확인한 Microsoft 자료에서는 다른 회사처럼 학습용 사용자 에이전트를 따로 둔다는 설명을 찾지 못했습니다. 대신 2023년 9월 22일 빙 웹마스터 블로그에서 페이지의 메타 태그로 조절하는 방법을 밝혔습니다. 당시 이름은 Bing Chat이었습니다.

• NOARCHIVE: “Content tagged NOARCHIVE will not be included in Bing Chat answers, not be linked to in the answers”, 그리고 Microsoft의 생성형 AI 기반 모델 학습에도 쓰지 않는다.
• NOCACHE: 채팅 답변에 들어갈 수는 있지만 URL·제목·스니펫만 보이고, 학습에도 URL·제목·스니펫만 쓰일 수 있다.
• 두 태그를 함께 달면 NOCACHE로 취급한다.
• 두 태그 모두 일반 빙 검색 결과에는 그대로 나온다.

즉 이 2023년 글 기준으로 Microsoft 쪽에는 학습만 깔끔하게 빼고 답변은 온전히 남기는 스위치가 없습니다. NOARCHIVE는 학습과 함께 답변에서도 빠지고, NOCACHE는 답변에는 남지만 제목·스니펫 수준으로만 쓰입니다. 이 글을 쓰며 현재 빙 웹마스터 가이드라인 원문도 열어 보려 했지만 자바스크립트로 그려지는 페이지라 본문을 받지 못했습니다. 그래서 위 내용이 지금 Copilot에 그대로 적용되는지는 2023년 글 이상으로 확인하지 못했습니다. Copilot이 빙 색인을 바탕으로 한다는 Microsoft의 설명은 AI 엔진마다 출처를 모으는 길이 다르다에 정리했습니다. 빙에 나오는 것이 목표라면 bingbot은 막지 않습니다.

Common Crawl — 막을지는 운영자의 판단

CCBot은 비영리 재단 Common Crawl이 공개 웹 아카이브를 만들 때 쓰는 크롤러입니다. Common Crawl의 CCBot 페이지에는 막는 방법(User-agent: CCBot / Disallow: /)은 있지만, 그 데이터가 AI 학습에 쓰인다는 설명은 없습니다. 다만 아래에 나올 Cloudflare의 관리형 robots.txt는 CCBot을 GPTBot·ClaudeBot과 함께 막는 목록에 넣어 두었습니다. 공개 아카이브는 누가 어떻게 가져다 쓸지 사이트가 고를 수 없으므로, 학습 거부가 목적이라면 함께 막는 쪽을 검토할 만합니다. CCBot은 위 표의 회사들이 검색 답변용으로 밝힌 봇이 아니어서, 문서상으로는 막아도 위 표의 검색 답변에서 빠지는 곳이 없습니다.

robots.txt 예시 — 학습만 막기

위 표를 robots.txt로 옮기면 이렇습니다. 사이트 전체가 대상이라고 가정했습니다.

# 학습용 — 막는다
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# 그 밖의 모든 봇(검색용·사용자 요청용 포함) — 연다
User-agent: *
Allow: /

Sitemap: https://내-사이트-주소/sitemap.xml

여기서 OAI-SearchBot·Claude-SearchBot·PerplexityBot·Googlebot·bingbot은 이름으로 적지 않았으므로 마지막 * 그룹을 따라 허용됩니다. 사용자 요청용 봇(ChatGPT-User·Claude-User·Perplexity-User)과 Applebot도 마찬가지입니다. Applebot은 Applebot 이름이 없으면 Googlebot 규칙을 따른다고 했는데, 이 예시에는 Googlebot 그룹도 없으므로 * 그룹을 따릅니다. 실제 사례로, 프로필 플랫폼 16곳의 robots.txt를 확인한 글에서 2026년 10월 15일 기준 브런치가 학습용 봇만 막고 검색용 봇은 열어 둔 형태였습니다.

함정 — 이름을 적은 그룹은 * 그룹을 대신한다

robots.txt에서 놓치기 쉬운 부분입니다. 구글 robots.txt 문서는 이렇게 적었습니다.

“Only one group is valid for a particular crawler. … Other groups are ignored.”

크롤러는 자기 이름과 가장 구체적으로 맞는 그룹 하나만 따르고 나머지는 무시한다는 뜻입니다(같은 이름의 그룹이 여러 개면 하나로 합치지만, 이름을 적은 그룹과 * 그룹은 합치지 않습니다). 표준인 RFC 9309도 맞는 그룹이 없을 때에만 * 그룹을 따르라고 적었습니다. 그래서 이런 일이 생깁니다.

• * 그룹에 Disallow: /admin/을 적어 두고, 아래에 User-agent: OAI-SearchBot / Allow: /를 따로 만들면, OAI-SearchBot은 /admin/ 금지를 따르지 않습니다. 자기 그룹만 보기 때문입니다.
• 반대로 학습용 봇 그룹에 Disallow: /를 적으면서 실수로 검색용 봇 이름을 같은 그룹에 함께 넣으면, 그 검색봇도 통째로 막힙니다.

막을 경로가 있다면 이름을 적은 그룹마다 같은 Disallow를 반복해야 합니다. 짧은 Disallow 규칙이 경로 앞부분만 맞아도 걸려 엉뚱한 페이지를 막는 문제는 다른 사이트 기록에 있습니다.

robots.txt는 요청이고, 반영에는 시간이 걸린다

RFC 9309는 robots.txt 규칙이 “not a form of access authorization”, 즉 접근 권한 장치가 아니라고 적었습니다. 크롤러에게 지켜 달라고 요청하는 규칙일 뿐, 지키지 않는 크롤러를 기술적으로 막지는 못합니다. 바꾼 뒤 반영되는 시간도 회사마다 적어 둔 것이 다릅니다.

Anthropic 문서에서는 반영 시간을 찾지 못했습니다. 대신 IP를 막는 방식은 robots.txt를 읽지 못하게 만들어 거부 의사가 제대로, 지속적으로 전달되지 않을 수 있다고 적고, robots.txt로 거부하라고 안내합니다.

사이트 운영자가 잘 모르는 층 — CDN의 AI 봇 설정

robots.txt를 아무리 정확히 써도, 그 앞에 있는 CDN이 봇을 먼저 막으면 소용이 없습니다. 사이트를 맡긴 업체가 CDN을 붙여 두었는데 운영자는 모르는 경우도 있어, 이 층을 따로 봐야 합니다. 아래는 Cloudflare 기준입니다.

2025년 7월 1일부터 — 새 도메인에 묻기 시작했다. Cloudflare 보도자료는 허락이나 대가 없이 콘텐츠에 접근하는 AI 크롤러를 기본으로 막는 첫 인터넷 인프라 업체가 됐다고 밝히며 이렇게 적었습니다.

“Upon sign-up with Cloudflare, every new domain will now be asked if they want to allow AI crawlers.”

새 도메인을 연결할 때 AI 크롤러를 허용할지 묻는다는 뜻입니다. 이때 무심코 고른 답이 지금도 남아 있을 수 있습니다.

지금은 검색·에이전트·학습 세 갈래다. 2026년 7월 1일 갱신된 Cloudflare 문서는 AI 봇 정책을 Search(나중에 질문에 답하려고 수집·색인), Agent(채팅 중 페이지를 가져오는 봇처럼 사람 대신 실시간으로 움직이는 것), Training(학습)으로 나눴고, 정책마다 ‘전체 차단’·‘광고가 있는 페이지에서만 차단’·‘허용’ 중 하나를 고르게 했습니다. 그리고 2026년 9월 15일부터 새 도메인의 기본값을 바꾼다고 예고했습니다.

“On September 15, 2026, Cloudflare will set updated defaults for new domains: bots classified as Training or as Agent will be blocked on pages that display ads, and Search will remain allowed.”

예고한 날짜는 지났지만 이 문서는 7월 1일 이후 갱신되지 않아, 실제로 그대로 적용됐는지는 문서만으로는 알 수 없습니다. 대상도 ‘새 도메인’이고 차단 범위도 ‘광고가 있는 페이지’로 적혀 있습니다. 문서는 9월 15일 전까지 모든 고객이 이 새 기본값을 거부할 수 있다고도 적었습니다.

여기서 이 글의 목적과 직접 부딪히는 문장이 있습니다. 같은 문서는 Training 범주가 “including mixed-purpose crawlers that are used both for Training and for Search”, 즉 학습과 검색을 겸하는 봇까지 포함한다고 적었고, 9월 15일부터는 겸용 봇이 학습을 막는 모든 설정(예전 ‘Block AI bots’ 포함)에서 막힌다고 적었습니다. Cloudflare에서 학습을 막으면 robots.txt에서는 열어 둔 봇이라도, 겸용으로 분류된 봇은 CDN에서 막힐 수 있다는 뜻입니다. 어떤 봇이 겸용으로 분류되는지는 이 문서에 나오지 않습니다.

그런데 설명이 문서마다 엇갈립니다. 같은 문서의 예전 ‘Block AI bots’ 설정(2026년 9월 15일 종료 예정) 항목에는 겸용 봇을 제외한다는 메모가 남아 있고, 2026년 10월 22일 갱신된 관리형 robots.txt 문서는 학습을 ‘Disallow’로 두면 학습 크롤러를 CDN에서 막되 “Mixed-use crawlers are excluded from this edge block”, 즉 겸용 봇은 그 차단에서 뺀다고 적었습니다. 어떤 옵션을 골랐느냐에 따라 겸용 봇의 처리가 달라질 수 있으니, 대시보드에서 봇별 실제 처리를 확인하는 것이 가장 정확합니다.

AI Crawl Control로 봇 하나하나를 본다. Cloudflare의 AI Crawl Control 화면은 어떤 AI 크롤러가 몇 번 왔는지, robots.txt를 몇 번 어겼는지를 표로 보여 주고, 크롤러마다 허용·차단을 고를 수 있게 합니다. 문서는 무료 플랜에서는 사용자 에이전트 문자열로 AI 크롤러를 식별하고, 유료 플랜은 Bot Management의 탐지 정보로 더 자세히 볼 수 있다고 적었습니다. 무료 플랜에서는 이름을 사칭한 요청을 가려내는 데 한계가 있을 수 있다는 뜻입니다. 실제로 AI 크롤러 이름을 내건 요청이 설정 파일을 노리는 스캔이었던 일은 크롤러 로그를 처음 열어 본 기록에 적었습니다.

관리형 robots.txt는 내 파일 앞에 덧붙는다. Cloudflare 문서(2026년 10월 22일 갱신)에 따르면 ‘Bot Preference Sync’를 켜고 Search·Agent·Training 정책 중 하나라도 차단(학습은 ‘Disallow’ 포함)으로 두면, Cloudflare가 관리하는 규칙을 원래 robots.txt 앞에 붙여 하나의 응답으로 내보냅니다. 문서 예시의 관리형 목록은 Amazonbot·Applebot-Extended·Bytespider·CCBot·ClaudeBot·Google-Extended·GPTBot·meta-externalagent에 Disallow: /를 겁니다. 검색용 봇 이름은 그 목록에 없습니다. 서버에 둔 robots.txt와 실제로 /robots.txt 주소에서 내려오는 파일이 다를 수 있으니, 고친 뒤에는 브라우저로 주소를 직접 열어 확인해야 합니다.

Content Signals — ‘쓰임새’를 적는 새 줄

robots.txt는 원래 ‘들어와도 되는가’만 말합니다. Cloudflare가 2025년 9월 24일 발표한 Content Signals Policy는 가져간 뒤 ‘무엇에 써도 되는가’를 적는 줄을 더했습니다.

User-Agent: *
Content-Signal: search=yes, ai-train=no
Allow: /

정책 문구가 정의한 세 신호는 이렇습니다.

이 글의 목적에 맞추면 search=yes, ai-input=yes, ai-train=no가 됩니다. 주의할 점은 search의 정의에서 AI 요약이 빠져 있다는 것입니다. AI 검색 답변은 ai-input 쪽입니다. 정책 문구는 신호를 적지 않은 항목에 대해 Content Signal로는 허락도 금지도 하지 않은 것이라고 적었고, 블로그는 그것이 선호가 없다는 뜻은 아니라고 덧붙였습니다. 2025년 블로그는 Cloudflare 관리형 robots.txt 고객에게 search=yes, ai-train=no만 넣고 ai-input은 고객의 뜻을 모른다며 비워 둔다고 적었습니다. 2026년 10월 22일 갱신된 관리형 robots.txt 문서의 예시에는 시험 중인 use=reference가 더해져 search=yes, ai-train=no, use=reference로 나오고, ai-input은 여전히 없습니다.

그리고 Cloudflare 스스로 이렇게 적었습니다.

“content signals express preferences; they are not technical countermeasures against scraping. Some companies might simply ignore them.”

선호를 밝히는 것이지 수집을 막는 기술 장치가 아니며, 무시하는 회사도 있을 수 있다는 뜻입니다. 이 글에서 확인한 OpenAI·Anthropic·Perplexity·구글·애플 문서 어디에도 Content-Signal 줄을 읽는다는 설명은 없었습니다. 그러니 지금은 robots.txt의 봇별 규칙이 실제 스위치이고, Content-Signal은 그 위에 의사를 한 번 더 적어 두는 줄로 보는 편이 정확합니다.

이 사이트의 선택 (자체 기록)

이 사이트(hwano-ai.com)는 반대 방향을 골랐습니다. 2026년 10월 23일 오전 8시(한국 시간)에 받은 실제 robots.txt는 저장소의 파일과 글자 하나까지 같았고, 내용은 이렇습니다.

• 맨 위 * 그룹에 Content-Signal: search=yes,ai-input=yes,ai-train=yes와 Allow: /
• 그 아래 Googlebot·bingbot·Yeti(네이버)·Daumoa(다음), OpenAI 셋, Anthropic 셋, PerplexityBot·Perplexity-User, Google-Extended, Applebot·Applebot-Extended, meta-externalagent, CCBot을 이름으로 적고 모두 Allow: /

학습까지 열어 둔 이유는 이 사이트의 목적이 찾아지고 인용되는 것이기 때문입니다. AI 상위노출 일을 하는 사람의 사이트라, 제 이름과 글이 모델이 아는 지식에 들어가는 것도 손해보다 이득이 크다고 판단했습니다. 이것은 제 사이트에 대한 판단이지 모두에게 권하는 설정이 아닙니다. 글이나 사진이 곧 상품인 사이트라면 학습을 막는 쪽이 맞을 수 있고, 그때는 위의 ‘학습만 막기’ 예시가 출발점입니다.

같은 날 확인한 것과 남은 질문도 적어 둡니다.

• 실제로 내려오는 robots.txt가 저장소 파일과 같았으므로, Cloudflare 관리형 규칙이 앞에 붙어 있지는 않았습니다.
• 사용자 에이전트를 GPTBot·OAI-SearchBot·ClaudeBot·Claude-SearchBot·PerplexityBot·CCBot으로 바꿔 글 한 편을 요청하니 모두 200에 같은 크기로 왔습니다. 다만 이름만 흉내 낸 요청이라, 진짜 봇이 그 회사 IP에서 왔을 때 CDN이 같은 응답을 주는지까지는 이 방법으로 알 수 없습니다.
• 모르는 것 하나: 이 파일은 Content-Signal 줄을 * 그룹에만 두고, 주요 봇은 이름을 적은 별도 그룹으로 허용합니다. 위 그룹 규칙대로라면 이름이 적힌 봇은 자기 그룹만 보므로, 그 봇이 * 그룹의 Content-Signal을 자기에게 해당하는 것으로 읽는지는 확실하지 않습니다. Cloudflare 문서와 블로그에서 이 경우를 다룬 설명은 찾지 못했습니다. Cloudflare 관리형 robots.txt 예시도 Content-signal 줄은 * 그룹에만 두고 학습 봇은 이름을 적은 그룹으로 막는 같은 구조입니다. 이 사이트는 모든 신호가 ‘yes’라 실제 차이는 없지만, 학습만 막으려고 Content-Signal에 기대는 사이트라면 봇별 Disallow를 함께 적어 두는 편이 안전합니다.

설정과 실제 방문은 다른 문제라는 점도 다른 사이트에서 겪었습니다. robots.txt로 허용해 두고도 실제로 오는지는 확인하지 않다가, CDN의 봇 관리 화면을 처음 열어 AI 크롤러 통째 차단 옵션이 꺼져 있는지부터 확인한 기록이 AI 크롤러가 실제로 오는지 처음으로 숫자를 봤다에 있습니다.

점검 체크리스트

• 내-사이트-주소/robots.txt를 브라우저로 직접 열어, 서버 파일이 아니라 실제로 내려오는 파일을 본다
• 학습용(GPTBot·ClaudeBot·Google-Extended·Applebot-Extended, 필요하면 CCBot)만 Disallow인지 본다
• 검색용(OAI-SearchBot·Claude-SearchBot·PerplexityBot·Googlebot·bingbot)이 같은 그룹에 섞여 막히지 않았는지 본다
• * 그룹에만 적은 금지 경로가 있다면, 이름을 적은 그룹마다 같은 Disallow가 있는지 본다
• Applebot을 따로 적지 않았다면 Googlebot 규칙이 Applebot에도 적용된다는 점을 감안한다
• 구글 AI 개요를 조절하려고 Google-Extended를 건드리지 않는다 — AI 개요는 Googlebot·스니펫 제어·서치콘솔 쪽이다
• 빙에서는 NOARCHIVE가 학습과 함께 채팅 답변에서도 빼는 태그라는 점(2023년 빙 블로그 기준)을 알고 쓴다
• Cloudflare를 쓴다면 AI 봇 정책의 Search·Agent·Training 설정과, 학습 차단에 걸리는 겸용 봇이 있는지 대시보드에서 확인한다(2026년 9월 15일 뒤 새로 연결한 도메인이라면 바뀐 기본값도 본다)
• Content-Signal을 쓴다면 ai-input을 비워 두지 않았는지, 봇별 규칙과 어긋나지 않는지 본다
• 바꾼 날짜를 적어 두고, 며칠 뒤 다시 확인한다(robots.txt는 대개 24시간, 서치콘솔 제어는 며칠)

이렇게 해도 보장되지 않는 것

• 학습용 봇을 막아도 학습에 안 쓰인다는 보장은 없습니다. robots.txt와 Content-Signal은 둘 다 요청입니다. Anthropic은 ClaudeBot 차단이 ‘앞으로의’ 자료를 학습에서 빼 달라는 신호라고 적었으므로, 이미 가져간 것까지 해당한다고 읽기는 어렵습니다. 공개 아카이브처럼 사이트가 쓰임새를 고를 수 없는 경로도 있습니다.
• 검색용 봇을 열어도 인용된다는 보장은 없습니다. 열어 두는 것은 후보가 될 자격일 뿐이고, 그 뒤에 색인되고 질문에 맞는 페이지로 뽑혀야 합니다. 그 단계는 ChatGPT에 우리 회사가 안 나오는 이유와 AI 상위노출은 얼마나 걸리나에 정리했습니다.
• 문서는 바뀝니다. 이 글의 표는 2026년 10월 23일에 연 문서 기준이고, Cloudflare 기본값처럼 날짜를 정해 바뀌는 것도 있습니다.

이 글을 쓴 사람

이 글은 AI 상위노출(AI 검색 노출) 작업을 하는 유환호가 썼습니다. 이 주제로 일을 하고 있으므로 이해관계가 있고, 이 사이트는 학습까지 모두 허용하는 쪽을 골랐습니다. 인용한 OpenAI·Anthropic·Perplexity·구글·애플·Microsoft·Common Crawl·Cloudflare 문서와 RFC 9309는 2026년 10월 23일에 원문을 열어 문장을 대조했고, 현재 빙 웹마스터 가이드라인처럼 본문을 받지 못한 문서는 내용을 옮기지 않았습니다. 내 사이트의 robots.txt와 CDN 설정을 함께 보고 싶다면 연락하기로 주소를 보내 주세요.