Generador de robots.txt
Edita las reglas de rastreo y obtén robots.txt en vivo: sin botones y sin subir nada.
Una URL completa; se convierte en una línea Sitemap: al final del archivo.
Avanzado: Crawl-delay
Se aplica a todos los grupos. No forma parte de la RFC 9309; Google lo ignora, mientras que otros rastreadores lo respetan.
Cómo se usa
- Parte de un ajuste predefinido o edita el grupo por defecto: indica el user-agent (usa «*» para todos los rastreadores) y añade las rutas que quieras permitir o bloquear. El archivo se actualiza mientras escribes, sin botón de generar.
- Añade otro grupo cuando distintos rastreadores necesiten reglas distintas, por ejemplo permitir todo a «*» y bloquear a los rastreadores de IA como GPTBot y CCBot. La URL del sitemap y el Crawl-delay son opcionales.
- Copia el resultado o descarga «robots.txt» y súbelo a la raíz del sitio (https://example.com/robots.txt). Cada subdominio necesita su propio archivo. Comprueba el comportamiento en Search Console o en otro probador de robots.txt antes de confiar en él.
Ejemplo
Reglas
Grupo 1: * — Disallow /admin/ Grupo 2: GPTBot — Disallow / Sitemap: https://example.com/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml
Los grupos son independientes: «*» solo bloquea /admin/, mientras que GPTBot queda bloqueado en todo el sitio. La línea Sitemap no pertenece a ninguno de los dos grupos. El contador muestra «Grupos: 2 · Reglas: 2».
Reglas, límites y problemas conocidos
- robots.txt es una convención para rastreadores, no un control de acceso: no puede proteger páginas privadas. Usa autenticación o reglas de servidor para todo lo que deba seguir siendo privado.
- Google ignora Crawl-delay (no está definido en la RFC 9309); otros rastreadores sí lo respetan. El campo es opcional y está desactivado por defecto, así que no se añade nada salvo que escribas un valor.
- El ajuste de IA es una lista seleccionada de rastreadores de entrenamiento habituales: GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider y Applebot-Extended. Los tokens cambian con el tiempo; consulta la documentación de cada rastreador y edita los grupos según haga falta.
- Las rutas distinguen mayúsculas y admiten «*» y «$». Gana la regla más larga que coincida, no la primera escrita, así que un Allow debe ser más específico que el Disallow al que anula.
- Las rutas no ASCII se escriben en UTF-8. Los rastreadores antiguos pueden exigir URL codificadas en porcentaje, así que la herramienta avisa pero nunca reescribe lo que has escrito.
- Solo se admite una URL de sitemap. Para añadir más, copia el resultado y agrega líneas «Sitemap:» adicionales. La herramienta no rastrea tu sitio ni comprueba si una URL está realmente bloqueada: usa un probador externo para eso.
- No se sube ni se guarda nada: las reglas viven solo en esta página. Los ajustes predefinidos sustituyen los grupos actuales pero conservan el Sitemap y el Crawl-delay; Restablecer lo borra todo. No hay cuenta, historial ni configuración compartible.
Herramientas relacionadas
Lo que suele hacer falta después, una vez listo el archivo.