robots.txt 생성기
크롤러 규칙을 고치면 robots.txt가 즉시 나옵니다. 버튼도, 업로드도 없습니다.
전체 URL을 넣으면 파일 끝에 Sitemap: 줄로 들어갑니다.
고급: Crawl-delay
모든 그룹에 적용됩니다. RFC 9309에는 없으며 Google은 무시하지만 일부 다른 크롤러는 따릅니다.
사용 방법
- 프리셋으로 시작하거나 기본 그룹을 고치세요. user-agent를 정하고(“*”는 모든 크롤러) 허용하거나 차단할 경로를 추가합니다. 입력하는 대로 파일이 갱신되며 생성 버튼은 없습니다.
- 크롤러마다 규칙이 달라야 하면 그룹을 더하세요. 예를 들어 “*”에는 모두 허용하고 GPTBot, CCBot 같은 AI 크롤러는 차단합니다. 사이트맵 URL과 Crawl-delay는 선택 사항입니다.
- 결과를 복사하거나 “robots.txt”를 내려받아 사이트 루트(https://example.com/robots.txt)에 올리세요. 하위 도메인마다 파일이 따로 필요합니다. 믿고 쓰기 전에 Search Console이나 다른 robots.txt 검사기로 동작을 확인하세요.
예시
규칙
그룹 1: * — Disallow /admin/ 그룹 2: GPTBot — Disallow / 사이트맵: https://example.com/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml
그룹은 서로 독립적입니다. “*”는 /admin/만 막고 GPTBot은 사이트 전체에서 막힙니다. Sitemap 줄은 어느 그룹에도 속하지 않습니다. 집계는 “그룹: 2개 · 규칙: 2개”입니다.
규칙, 한계, 알려진 문제
- robots.txt는 크롤러 관례일 뿐 접근 제어가 아닙니다. 비공개 페이지를 지킬 수 없습니다. 반드시 비공개여야 하는 것은 인증이나 서버 규칙을 쓰세요.
- Google은 Crawl-delay를 무시합니다(RFC 9309에 정의되어 있지 않습니다). 일부 다른 크롤러는 따릅니다. 이 항목은 선택 사항이고 기본으로 꺼져 있어 값을 입력해야만 들어갑니다.
- AI 프리셋은 흔한 학습 크롤러 목록입니다. GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider, Applebot-Extended입니다. 토큰은 바뀔 수 있으니 각 크롤러 문서를 확인하고 그룹을 고치세요.
- 경로는 대소문자를 구분하고 “*”와 “$”를 지원합니다. 가장 길게 일치하는 규칙이 이기며 먼저 쓴 규칙이 아닙니다. 그래서 Allow는 덮어쓸 Disallow보다 구체적이어야 합니다.
- 비ASCII 경로는 UTF-8로 씁니다. 오래된 크롤러는 퍼센트 인코딩된 URL을 요구할 수 있어 경고만 하고 입력을 다시 쓰지는 않습니다.
- 사이트맵 URL은 하나만 지원합니다. 더 넣으려면 결과를 복사해 “Sitemap:” 줄을 덧붙이세요. 이 도구는 사이트를 크롤링하거나 URL이 실제로 막히는지 확인하지 않습니다. 외부 검사기를 쓰세요.
- 아무것도 업로드하거나 저장하지 않습니다. 규칙은 이 페이지에만 있습니다. 프리셋은 현재 그룹을 바꾸지만 사이트맵과 Crawl-delay는 유지하고, 초기화는 모두 지웁니다. 계정, 기록, 공유 가능한 설정은 없습니다.
관련 도구
파일이 준비된 뒤 흔히 이어서 쓰는 도구입니다.