robots.txt oluşturucu
Tarayıcı kurallarını düzenleyin, robots.txt anında oluşsun — düğme yok, yükleme yok.
Tam bir URL; dosyanın sonunda bir Sitemap: satırı olur.
Gelişmiş: Crawl-delay
Her gruba uygulanır. RFC 9309'un parçası değildir; Google yok sayar, bazı diğer tarayıcılar uyar.
Nasıl kullanılır
- Bir hazır ayardan başlayın veya varsayılan grubu düzenleyin: user-agent'ı ayarlayın (tüm tarayıcılar için “*” kullanın), sonra izin vermek ya da engellemek istediğiniz yolları ekleyin. Dosya siz yazarken güncellenir — “Oluştur” düğmesi yok.
- Farklı tarayıcılar farklı kurallara ihtiyaç duyduğunda başka bir grup ekleyin; örneğin “*” için her şeye izin verin ve GPTBot, CCBot gibi AI tarayıcılarını engelleyin. Site haritası URL'si ve Crawl-delay isteğe bağlıdır.
- Sonucu kopyalayın veya “robots.txt” dosyasını indirin, sonra site köküne yükleyin (https://example.com/robots.txt). Her alt alan adı kendi dosyasına ihtiyaç duyar. Davranışa güvenmeden önce Search Console'da veya başka bir robots.txt test aracında doğrulayın.
Örnek
Kurallar
Grup 1: * — Disallow /admin/ Grup 2: GPTBot — Disallow / Site haritası: https://example.com/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml
Gruplar bağımsızdır: “*” yalnızca /admin/ yolunu engeller, GPTBot ise tüm siteden engellenir. Sitemap satırı iki grubun da parçası değildir. Sayım “Grup: 2 · Kural: 2” gösterir.
Kurallar, sınırlar ve bilinen sorunlar
- robots.txt bir tarayıcı geleneğidir, erişim denetimi değildir: özel sayfaları koruyamaz. Gizli kalması gereken her şey için kimlik doğrulama veya sunucu kuralları kullanın.
- Google Crawl-delay'i yok sayar (RFC 9309'da tanımlı değildir); bazı diğer tarayıcılar uyar. Alan isteğe bağlıdır ve varsayılan olarak kapalıdır, bu yüzden bir değer yazmadığınız sürece hiçbir şey eklenmez.
- AI hazır ayarı, yaygın eğitim tarayıcılarından oluşan seçilmiş bir listedir — GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider ve Applebot-Extended. Belirteçler zamanla değişir; her tarayıcının belgelerini kontrol edin ve grupları gerektiği gibi düzenleyin.
- Yollar büyük/küçük harfe duyarlıdır ve “*” ile “$” destekler. En uzun eşleşen kural kazanır, ilk yazılan değil; bu yüzden bir Allow, geçersiz kıldığı Disallow'dan daha belirgin olmalıdır.
- ASCII dışı yollar UTF-8 olarak yazılır. Eski tarayıcılar yüzde kodlanmış URL'ler isteyebilir, bu yüzden araç uyarır ama yazdığınızı asla yeniden yazmaz.
- Yalnızca bir Site haritası URL'si desteklenir. Daha fazlası için sonucu kopyalayıp ek “Sitemap:” satırları ekleyin. Araç sitenizi taramaz veya bir URL'nin gerçekten engellenip engellenmediğini kontrol etmez — bunun için harici bir test aracı kullanın.
- Hiçbir şey yüklenmez veya saklanmaz: kurallar yalnızca bu sayfada yaşar. Hazır ayarlar mevcut grupları değiştirir ama Site haritası ve Crawl-delay'i korur; Sıfırla her şeyi temizler. Hesap, geçmiş veya paylaşılabilir yapılandırma yok.
İlgili araçlar
Dosya hazır olduktan sonra genellikle ihtiyaç duyulan şeyler.