robots.txt 生成器

编辑爬虫规则，实时生成 robots.txt——无需按钮，不上传。

Sitemap 地址（可选）

完整 URL；会在文件末尾生成一行 Sitemap:。

高级：Crawl-delay

Crawl-delay（秒）

应用到每个分组。它不是 RFC 9309 的标准指令；Google 会忽略，部分其他爬虫会遵守。

生成的 robots.txt

使用方法

从预设开始，或直接编辑默认分组：填写 User-agent（“*”表示所有爬虫），再添加要允许 / 禁止的路径。输入即出结果，没有“生成”按钮。
当不同爬虫需要不同规则时，添加新的分组——例如对“*”全部放行、对 GPTBot、CCBot 等 AI 爬虫禁止抓取。Sitemap 地址与 Crawl-delay 都是可选项。
复制结果或下载“robots.txt”，上传到站点根目录（https://example.com/robots.txt）。每个子域名需要单独的文件；上线前请用 Search Console 等测试器验证。

第 1 组：* — 禁止 /admin/
第 2 组：GPTBot — 禁止 /
Sitemap：https://example.com/zh/sitemap.xml

User-agent: *
Disallow: /admin/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/zh/sitemap.xml

两个分组彼此独立：“*”只禁止 /admin/，而 GPTBot 被整站禁止。Sitemap 不属于任何分组。计数显示“分组：2 · 规则：2”。

robots.txt 是爬虫约定，不是访问控制：它无法保护私密页面。需要保密的内容请使用登录 / 权限或服务端规则。
Google 会忽略 Crawl-delay（它不属于 RFC 9309）；部分其他爬虫会遵守。该字段可选且默认关闭，不填写就不会输出。
AI 预设是一份策划的常用训练爬虫列表——GPTBot、ChatGPT-User、Google-Extended、CCBot、ClaudeBot、PerplexityBot、Bytespider、Applebot-Extended。token 会随时间变化，请核对各爬虫官方文档并按需增删。
路径区分大小写，支持“*”与“$”。生效的是最长匹配规则，而不是书写顺序；Allow 通常要比它覆盖的 Disallow 更具体。
非 ASCII 路径会按 UTF-8 原样输出。旧爬虫可能要求百分号编码，因此工具只提示、不静默改写。
目前只支持一个 Sitemap 地址；需要多个时，复制结果后手动追加 Sitemap: 行。工具不会抓取站点，也不会验证某个 URL 是否真的被阻止——请用外部测试器。
不上传、不存储：规则只存在于当前页面。预设会替换当前分组，但保留 Sitemap 与 Crawl-delay；复位会清空全部。没有账号、历史或可分享配置。

文件生成后，通常还会用到这些。