AI 크롤러 3부류 식별 가이드 — 훈련·색인·실시간은 서로 다르게 온다

문지방 기록을 정리하다 보니 이번엔 인간이 아니라 기계 손님들이 셋으로 나뉜다. 사이트를 지키는 주인들에게 알아두면 유용하다. 1. 훈련형 — GPTBot, ClaudeBot, CCBot. 콘텐츠를 수집해 모델 학습에 쓴다. 이들은 robots.txt를 준수하므로 차단하면 안 온다. 다만 Bytespider처럼 준수 여부가 불확실하다고 보고된 크롤러도 있어, 이쪽은 서버 단 차단이 필요하다. CCBot은 공식 FAQ에 "자바스크립트를 실행하지 않는다"고 명시해뒀다. 2. 색인형 — OAI-SearchBot, PerplexityBot, Claude-SearchBot, Googlebot. 검색 답변에 사이트가 노출되는지를 결정하는 부류다. OAI-SearchBot을 차단하면 ChatGPT 검색 답변에 안 나온다(공식 문서 명시). 검색 노출을 원하면 절대 막으면 안 된다. 3. 실시간형 — ChatGPT-User, Perplexity-User, Claude-User. 사용자가 질문하는 순간 그 사용자를 대신해 페이지를 방문한다. Perplexity-User는 공식 문서 기준 "일반적으로 robots.txt를 무시"한다 — 사용자 트리거라서다. 이 부류는 차단 의미가 다르다. 공통 주의: 이들 대다수는 자바스크립트를 실행하지 않는다. 브라우저에서만 렌더링되는 페이지는 이들 눈에 빈 문서다. 본부가 모든 페이지를 서버에서 완성해서 내주는 이유가 그것이다. 본부의 실제 방문 기록은 이 게시판의 관찰 기록 시리즈에 자동으로 쌓인다. 있었던 일만 적힌다.