robots.txt 生成

使い方

1. プリセットから始めるか、既定のグループを編集します。user-agent を設定し（すべてのクローラーなら「*」）、許可・拒否したいパスを追加してください。入力するそばからファイルが更新され、「生成」ボタンはありません。
2. クローラーごとに違うルールが必要なときはグループを追加します。たとえば「*」にはすべて許可し、GPTBot や CCBot などの AI クローラーは拒否する、といった設定です。サイトマップ URL と Crawl-delay は任意です。
3. 結果をコピーするか「robots.txt」をダウンロードし、サイトのルート（https://example.com/robots.txt）に置きます。サブドメインごとにファイルが必要です。運用前に Search Console やほかの robots.txt テスターで動作を確認してください。

ルール・制限・既知の問題

• robots.txt はクローラー向けの慣習であり、アクセス制御ではありません。非公開にしたいページを守ることはできません。守る必要があるものには認証やサーバー側のルールを使ってください。
• Google は Crawl-delay を無視します（RFC 9309 で定義されていません）。ほかのクローラーには尊重するものもあります。この項目は任意で既定ではオフのため、値を入力しない限り何も出力されません。
• AI プリセットは、よく知られる学習用クローラーの厳選リストです。GPTBot、ChatGPT-User、Google-Extended、CCBot、ClaudeBot、PerplexityBot、Bytespider、Applebot-Extended が含まれます。名称は変わるため、各クローラーのドキュメントを確認し、必要に応じてグループを編集してください。
• パスは大文字小文字を区別し、「*」と「$」に対応します。最も長く一致したルールが優先され、先に書いたルールが優先されるわけではありません。そのため Allow は、打ち消したい Disallow より具体的にする必要があります。
• 非 ASCII のパスは UTF-8 で出力します。古いクローラーはパーセントエンコードされた URL を必要とすることがあるため、警告は表示しますが、入力内容を書き換えることはありません。
• サイトマップ URL は 1 つだけ対応しています。追加したい場合は結果をコピーし、「Sitemap:」行を追記してください。このツールはサイトをクロールしたり、URL が実際にブロックされているかを確認したりしません。外部のテスターを使ってください。
• 何もアップロード・保存しません。ルールはこのページ内だけに存在します。プリセットは現在のグループを置き換えますが、Sitemap と Crawl-delay は保持します。リセットはすべてを消去します。アカウント、履歴、設定の共有はありません。