Gerador de robots.txt

Como usar

1. Comece por um modelo ou edite o grupo padrão: defina o user-agent (use “*” para todos os rastreadores) e adicione os caminhos que deseja permitir ou bloquear. O arquivo é atualizado enquanto você digita — não há botão Gerar.
2. Adicione outro grupo quando rastreadores diferentes precisarem de regras diferentes, por exemplo permitir tudo para “*” e bloquear rastreadores de IA como GPTBot e CCBot. A URL do sitemap e o Crawl-delay são opcionais.
3. Copie o resultado ou baixe “robots.txt” e envie-o para a raiz do site (https://exemplo.com.br/robots.txt). Cada subdomínio precisa do seu próprio arquivo. Verifique o comportamento no Search Console ou em outro testador de robots.txt antes de confiar nele.

Regras, limites e problemas conhecidos

• robots.txt é uma convenção para rastreadores, não controle de acesso: não protege páginas privadas. Use autenticação ou regras de servidor para tudo que precisa continuar privado.
• O Google ignora Crawl-delay (não é definido pela RFC 9309); alguns outros rastreadores o respeitam. O campo é opcional e vem desligado, então nada é adicionado a menos que você digite um valor.
• O modelo de IA é uma lista curada de rastreadores de treinamento comuns — GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider e Applebot-Extended. Os tokens mudam com o tempo; consulte a documentação de cada rastreador e edite os grupos conforme necessário.
• Os caminhos diferenciam maiúsculas e minúsculas e aceitam “*” e “$”. A regra correspondente mais longa vence, não a primeira escrita, então um Allow precisa ser mais específico que o Disallow que ele substitui.
• Caminhos não ASCII são gravados como UTF-8. Rastreadores antigos podem exigir URLs codificadas por porcentagem, então a ferramenta avisa, mas nunca reescreve o que você digitou.
• Apenas uma URL de sitemap é suportada. Para adicionar mais, copie o resultado e acrescente linhas “Sitemap:” extras. A ferramenta não rastreia seu site nem verifica se uma URL está realmente bloqueada — use um testador externo para isso.
• Nada é enviado ou armazenado: as regras vivem apenas nesta página. Os modelos substituem os grupos atuais, mas mantêm o sitemap e o Crawl-delay; Redefinir limpa tudo. Não há conta, histórico ou configuração compartilhável.