Alat saya

Generator robots.txt

Sunting aturan perayap, robots.txt langsung jadi — tanpa tombol, tanpa unggah.

URL lengkap; akan menjadi baris Sitemap: di akhir berkas.

Lanjutan: Crawl-delay

Berlaku untuk setiap grup. Ini bukan bagian dari RFC 9309; Google mengabaikannya, sedangkan sebagian perayap lain mematuhinya.

robots.txt yang dihasilkan
Cara menggunakan
  1. Mulai dari preset atau sunting grup bawaan: tetapkan user-agent (pakai "*" untuk semua perayap), lalu tambahkan jalur yang ingin diizinkan atau diblokir. Berkas diperbarui saat Anda mengetik — tidak ada tombol Hasilkan.
  2. Tambahkan grup lain bila perayap berbeda membutuhkan aturan berbeda, misalnya izinkan semuanya untuk "*" dan blokir perayap AI seperti GPTBot dan CCBot. URL Sitemap dan Crawl-delay bersifat opsional.
  3. Salin hasilnya atau unduh "robots.txt", lalu unggah ke akar situs (https://example.com/robots.txt). Setiap subdomain membutuhkan berkasnya sendiri. Verifikasi perilakunya di Search Console atau penguji robots.txt lain sebelum mengandalkannya.
Contoh
Aturan
Grup 1: * — Disallow /admin/
Grup 2: GPTBot — Disallow /
Sitemap: https://example.com/sitemap.xml
robots.txt
User-agent: *
Disallow: /admin/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/sitemap.xml
Kedua grup berdiri sendiri: "*" hanya memblokir /admin/, sedangkan GPTBot diblokir dari seluruh situs. Baris Sitemap bukan bagian dari kedua grup. Hitungan menampilkan "Grup: 2 · Aturan: 2".
Aturan, batasan, dan masalah yang diketahui
  • robots.txt adalah konvensi perayap, bukan kontrol akses: berkas ini tidak dapat melindungi halaman privat. Gunakan autentikasi atau aturan server untuk apa pun yang harus tetap privat.
  • Google mengabaikan Crawl-delay (tidak didefinisikan oleh RFC 9309); sebagian perayap lain mematuhinya. Bidang ini opsional dan mati secara bawaan, jadi tidak ada yang ditambahkan kecuali Anda mengetik nilainya.
  • Preset AI adalah daftar pilihan perayap pelatihan yang umum — GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider, dan Applebot-Extended. Token bisa berubah seiring waktu; periksa dokumentasi tiap perayap dan sunting grupnya bila perlu.
  • Jalur peka huruf besar-kecil dan mendukung "*" serta "$". Aturan yang cocok paling panjang yang menang, bukan yang ditulis lebih dulu, jadi Allow harus lebih spesifik daripada Disallow yang ingin diatasinya.
  • Jalur non-ASCII ditulis sebagai UTF-8. Perayap lama mungkin memerlukan URL ber-encode persen, jadi alat ini memberi peringatan tetapi tidak pernah menulis ulang yang Anda ketik.
  • Hanya satu URL Sitemap yang didukung. Untuk menambah, salin hasilnya dan tambahkan baris "Sitemap:" ekstra. Alat ini tidak merayapi situs Anda atau memeriksa apakah sebuah URL benar-benar diblokir — gunakan penguji eksternal untuk itu.
  • Tidak ada yang diunggah atau disimpan: aturannya hanya hidup di halaman ini. Preset mengganti grup yang ada tetapi mempertahankan Sitemap dan Crawl-delay; Setel ulang menghapus semuanya. Tidak ada akun, riwayat, atau konfigurasi yang dapat dibagikan.
Yang biasanya dibutuhkan berikutnya setelah berkasnya siap.
Pengurai user-agent
Kode status HTTP