# 유환호 — hwano-ai.com
# 검색엔진과 AI 답변엔진 양쪽에 발견·인용되는 것이 목표라 주요 크롤러를 이름으로 명시해 허용한다.
# (많은 사이트가 기본 차단 설정 때문에 AI 답변에서 통째로 빠진다 — AI 노출 점검의 첫 항목)
#
# ⚠️ robots 규칙은 UA별 그룹이 * 그룹을 "대체"한다. 나중에 막을 경로가 생기면
#    * 그룹만이 아니라 아래 명시 그룹 각각에도 Disallow 를 반복해야 실제로 적용된다.
# ⚠️ 검색용 크롤러(OAI-SearchBot·Claude-SearchBot·PerplexityBot)를 막으면 그 AI 검색 답변에서 빠진다.
#    학습만 막고 싶을 때는 학습용(GPTBot·ClaudeBot·Google-Extended·CCBot)만 막는다.

# Content Signals(Cloudflare 제안) — 검색·AI 답변 입력·학습 모두 허용을 명시한다.
User-agent: *
Content-Signal: search=yes,ai-input=yes,ai-train=yes
Allow: /

# ── 검색엔진 ─────────────────────────────────────
User-agent: Googlebot
Allow: /

User-agent: bingbot
Allow: /

# 네이버
User-agent: Yeti
Allow: /

# 다음(카카오)
User-agent: Daumoa
Allow: /

# ── OpenAI ───────────────────────────────────────
# OAI-SearchBot: ChatGPT 검색 노출 · ChatGPT-User: 대화 중 사용자 요청 · GPTBot: 모델 학습
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: GPTBot
Allow: /

# ── Anthropic ────────────────────────────────────
# Claude-SearchBot: 검색 색인 · Claude-User: 사용자 요청 · ClaudeBot: 모델 학습
User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: ClaudeBot
Allow: /

# ── Perplexity ───────────────────────────────────
User-agent: PerplexityBot
Allow: /

User-agent: Perplexity-User
Allow: /

# ── Google AI ────────────────────────────────────
# Google-Extended 는 크롤러가 아니라 제어 토큰(Gemini 학습·그라운딩). 구글 검색 포함·순위와는 무관하다.
User-agent: Google-Extended
Allow: /

# ── Apple · Meta · Common Crawl ──────────────────
User-agent: Applebot
Allow: /

User-agent: Applebot-Extended
Allow: /

User-agent: meta-externalagent
Allow: /

User-agent: CCBot
Allow: /

# 사이트맵 — 구글·빙·네이버 모두 이 줄을 읽는다. RSS(https://hwano-ai.com/rss.xml)는 네이버 서치어드바이저에 별도 제출.
# sitemap-index.xml(@astrojs/sitemap)은 같은 주소 집합이라 알리지 않는다 — 빙 가이드라인 '정본 URL만, 하나의 신호로'(2026-10-15)
Sitemap: https://hwano-ai.com/sitemap.xml