AI 크롤러는 실제로 오는가 — 하루 봇 방문 약 9천 건의 첫 기준점

연구 질문

robots.txt에서 허용한 AI 크롤러가 실제로 사이트에 오는가? 인프라 단에서 막히고 있지는 않은가?

가설

코드상 허용 설정이 옳아도, 인프라의 별도 차단 옵션이나 실제 방문 여부는 따로 확인하기 전까지 알 수 없다.

방법

1. 1인프라 제공업체(Cloudflare)의 봇 관리 대시보드에서 AI 크롤러 일괄 차단 옵션 상태를 먼저 확인했다.
2. 2최근 24시간 봇 방문을 크롤러 종류별로 집계해 기록했다.
3. 3가장 많이 요청된 경로도 함께 기록했다.

관측 규칙

• —이 숫자는 성과 지표가 아니라 이후 변화와 비교하기 위한 기준점으로만 쓴다.
• —학습용 대량 수집 크롤러와 답변 시점의 검색·방문형 크롤러를 구분해 본다.

결과

• 인프라 단의 AI 크롤러 일괄 차단 옵션은 꺼져 있었다 — 허용 설정이 실제로 유효한 상태였다.
• 하루 봇 방문 9천 건 가까이, 그중 8천 건 이상 허용.
• 가장 많은 것은 AI 학습용 대량 수집 크롤러였다.
• 답변엔진 하나의 검색 기능이 쓰는 크롤러 100건 이상, 다른 AI 회사의 방문형 크롤러 두어 종류는 합쳐 10건.
• 가장 많이 요청된 경로는 페이지 본문이 아니라 기본 공유 이미지 파일이었다.

한계

• —하루치 1회 측정이다. 요일·배포 시점에 따라 크게 달라질 수 있다.
• —방문 수는 노출이나 인용과 같은 것이 아니다.
• —재측정 결과는 아직 없다.

변경 이력

1. 2026-07-23기준점 측정
2. 2026-10-06hwano-ai.com 연구 형식으로 정리

관련 사례·기록

• 기록AI 크롤러가 실제로 오는지 처음으로 숫자를 봤다
• 기록쌓아 두기만 한 로그를 처음 열어 보니 전제가 틀려 있었다
• 기록이 저장소의 하루는 한국시간인데 집계만 세계표준시로 자르고 있었다