robots.txt জেনারেটর
ক্রলার নিয়ম সম্পাদনা করুন, robots.txt লাইভ পান — কোনো বোতাম নেই, কোনো আপলোড নেই।
একটি পূর্ণ URL; এটি ফাইলের শেষে Sitemap: লাইন হিসেবে যায়।
উন্নত: Crawl-delay
প্রতিটি গ্রুপে প্রযোজ্য। এটি RFC 9309-এর অংশ নয়; Google এটি উপেক্ষা করে, তবে কিছু অন্য ক্রলার মানে।
কীভাবে ব্যবহার করবেন
- একটি প্রিসেট দিয়ে শুরু করুন বা ডিফল্ট গ্রুপ সম্পাদনা করুন: user-agent ঠিক করুন (সব ক্রলারের জন্য “*” ব্যবহার করুন), তারপর যে পাথগুলো অনুমোদন বা ব্লক করতে চান যোগ করুন। টাইপ করার সঙ্গে সঙ্গে ফাইল হালনাগাদ হয় — কোনো Generate বোতাম নেই।
- ভিন্ন ক্রলারের ভিন্ন নিয়ম দরকার হলে আরেকটি গ্রুপ যোগ করুন, যেমন “*”-এর জন্য সব অনুমোদন আর GPTBot ও CCBot-এর মতো AI ক্রলার ব্লক। Sitemap URL ও Crawl-delay ঐচ্ছিক।
- ফলাফল কপি করুন বা “robots.txt” ডাউনলোড করে সাইটের রুটে আপলোড করুন (https://example.com/robots.txt)। প্রতিটি সাবডোমেইনের নিজের ফাইল দরকার। নির্ভর করার আগে Search Console বা অন্য robots.txt টেস্টারে আচরণ যাচাই করুন।
উদাহরণ
নিয়ম
গ্রুপ 1: * — Disallow /admin/ গ্রুপ 2: GPTBot — Disallow / Sitemap: https://example.com/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml
গ্রুপগুলো স্বতন্ত্র: “*” কেবল /admin/ ব্লক করে, আর GPTBot পুরো সাইট থেকে ব্লক। Sitemap লাইনটি কোনো গ্রুপের অংশ নয়। গণনায় লেখা “গ্রুপ: 2 · নিয়ম: 2”।
নিয়ম, সীমাবদ্ধতা ও পরিচিত সমস্যা
- robots.txt একটি ক্রলার প্রথা, অ্যাক্সেস নিয়ন্ত্রণ নয়: এটি ব্যক্তিগত পৃষ্ঠা রক্ষা করতে পারে না। গোপন রাখতে হবে এমন সবকিছুর জন্য প্রমাণীকরণ বা সার্ভার নিয়ম ব্যবহার করুন।
- Google Crawl-delay উপেক্ষা করে (এটি RFC 9309-এ সংজ্ঞায়িত নয়); কিছু অন্য ক্রলার তা মানে। ফিল্ডটি ঐচ্ছিক ও ডিফল্টে বন্ধ, তাই মান না লিখলে কিছুই যোগ হয় না।
- AI প্রিসেট হলো প্রচলিত প্রশিক্ষণ-ক্রলারদের একটি বাছাই করা তালিকা — GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider ও Applebot-Extended। টোকেন সময়ের সঙ্গে বদলায়; প্রতিটি ক্রলারের ডকুমেন্টেশন দেখে দরকারমতো গ্রুপ সম্পাদনা করুন।
- পাথ কেস-সংবেদনশীল এবং “*” ও “$” সমর্থন করে। সবচেয়ে লম্বা মেলা নিয়ম জেতে, প্রথম লেখাটি নয়, তাই কোনো Disallow কে override করতে হলে Allow-কে তার চেয়ে নির্দিষ্ট হতে হবে।
- অ-ASCII পাথ UTF-8 হিসেবে লেখা হয়। পুরোনো ক্রলারের শতাংশ-এনকোড করা URL লাগতে পারে, তাই টুল সতর্ক করে কিন্তু আপনি যা টাইপ করেছেন তা কখনো নতুন করে লেখে না।
- কেবল একটি Sitemap URL সমর্থিত। আরও যোগ করতে ফলাফল কপি করে বাড়তি “Sitemap:” লাইন যোগ করুন। টুল আপনার সাইট ক্রল করে না বা কোনো URL সত্যিই ব্লক হয়েছে কি না যাচাই করে না — তার জন্য বাইরের টেস্টার ব্যবহার করুন।
- কিছুই আপলোড বা সংরক্ষণ হয় না: নিয়মগুলো কেবল এই পেজে থাকে। প্রিসেট বর্তমান গ্রুপ বদলায় কিন্তু Sitemap ও Crawl-delay রাখে; রিসেট সব মুছে দেয়। কোনো অ্যাকাউন্ট, হিস্টোরি বা শেয়ারযোগ্য কনফিগারেশন নেই।
সম্পর্কিত টুল
ফাইল তৈরি হলে সাধারণত যা যা দরকার হয়।