Générateur de robots.txt
Modifiez les règles d’exploration et obtenez robots.txt en direct — sans bouton, sans envoi.
Une URL complète ; elle devient une ligne Sitemap: à la fin du fichier.
Avancé : Crawl-delay
Appliqué à chaque groupe. Ne fait pas partie de la RFC 9309 ; Google l’ignore, tandis que certains autres robots l’honorent.
Mode d’emploi
- Partez d’un préréglage ou modifiez le groupe par défaut : indiquez le user-agent (« * » pour tous les robots), puis ajoutez les chemins à autoriser ou à bloquer. Le fichier s’actualise au fil de la frappe — aucun bouton Générer.
- Ajoutez un autre groupe lorsque différents robots ont besoin de règles différentes, par exemple tout autoriser pour « * » et bloquer les robots IA comme GPTBot et CCBot. Une URL de sitemap et un Crawl-delay sont facultatifs.
- Copiez le résultat ou téléchargez « robots.txt », puis déposez-le à la racine du site (https://exemple.fr/robots.txt). Chaque sous-domaine a besoin de son propre fichier. Vérifiez le comportement dans Search Console ou avec un autre testeur de robots.txt avant de vous y fier.
Exemple
Règles
Groupe 1 : * — Disallow /admin/ Groupe 2 : GPTBot — Disallow / Sitemap : https://exemple.fr/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://exemple.fr/sitemap.xml
Les groupes sont indépendants : « * » ne bloque que /admin/, tandis que GPTBot est bloqué sur tout le site. La ligne Sitemap ne fait partie d’aucun groupe. Le compteur affiche « Groupes : 2 · Règles : 2 ».
Règles, limites et problèmes connus
- robots.txt est une convention pour les robots, pas un contrôle d’accès : il ne protège pas les pages privées. Utilisez une authentification ou des règles serveur pour tout ce qui doit rester privé.
- Google ignore Crawl-delay (il n’est pas défini par la RFC 9309) ; certains autres robots l’honorent. Le champ est facultatif et désactivé par défaut : rien n’est ajouté tant que vous ne saisissez pas de valeur.
- Le préréglage IA est une liste sélectionnée de robots d’entraînement courants — GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider et Applebot-Extended. Les jetons évoluent avec le temps ; consultez la documentation de chaque robot et modifiez les groupes si nécessaire.
- Les chemins sont sensibles à la casse et prennent en charge « * » et « $ ». La règle correspondante la plus longue l’emporte, et non la première écrite : un Allow doit donc être plus précis que le Disallow qu’il supplante.
- Les chemins non ASCII sont écrits en UTF-8. Des robots plus anciens peuvent exiger des URL encodées en pourcentage : l’outil vous avertit mais ne réécrit jamais ce que vous avez saisi.
- Une seule URL de sitemap est prise en charge. Pour en ajouter d’autres, copiez le résultat et ajoutez des lignes « Sitemap: » supplémentaires. L’outil n’explore pas votre site et ne vérifie pas si une URL est réellement bloquée — utilisez un testeur externe pour cela.
- Rien n’est envoyé ni stocké : les règles ne vivent que dans cette page. Les préréglages remplacent les groupes actuels mais conservent le Sitemap et le Crawl-delay ; Réinitialiser efface tout. Ni compte, ni historique, ni configuration partageable.
Outils associés
Ce dont on a généralement besoin ensuite, une fois le fichier prêt.