robots.txt 生成器

使用方法

1. 從預設開始，或直接編輯預設分組：填寫 User-agent（“*”表示所有爬蟲），再新增要允許 / 禁止的路徑。輸入即出結果，沒有“生成”按鈕。
2. 當不同爬蟲需要不同規則時，新增新的分組——例如對“*”全部放行、對 GPTBot、CCBot 等 AI 爬蟲禁止抓取。Sitemap 地址與 Crawl-delay 都是可選項。
3. 複製結果或下載“robots.txt”，上傳到站點根目錄（https://example.com/robots.txt）。每個子域名需要單獨的檔案；上線前請用 Search Console 等測試器驗證。

規則、限制與已知問題

• robots.txt 是爬蟲約定，不是訪問控制：它無法保護私密頁面。需要保密的內容請使用登入 / 許可權或服務端規則。
• Google 會忽略 Crawl-delay（它不屬於 RFC 9309）；部分其他爬蟲會遵守。該欄位可選且預設關閉，不填寫就不會輸出。
• AI 預設是一份策劃的常用訓練爬蟲列表——GPTBot、ChatGPT-User、Google-Extended、CCBot、ClaudeBot、PerplexityBot、Bytespider、Applebot-Extended。token 會隨時間變化，請核對各爬蟲官方文件並按需增刪。
• 路徑區分大小寫，支援“*”與“$”。生效的是最長匹配規則，而不是書寫順序；Allow 通常要比它覆蓋的 Disallow 更具體。
• 非 ASCII 路徑會按 UTF-8 原樣輸出。舊爬蟲可能要求百分號編碼，因此工具只提示、不靜默改寫。
• 目前只支援一個 Sitemap 地址；需要多個時，複製結果後手動追加 Sitemap: 行。工具不會抓取站點，也不會驗證某個 URL 是否真的被阻止——請用外部測試器。
• 不上傳、不儲存：規則只存在於當前頁面。預設會取代當前分組，但保留 Sitemap 與 Crawl-delay；復位會清空全部。沒有賬號、歷史或可分享配置。