robots.txt जनरेटर
क्रॉलर नियम संपादित करें और robots.txt लाइव पाएँ — कोई बटन नहीं, कोई अपलोड नहीं।
पूरा URL; यह फ़ाइल के अंत में Sitemap: पंक्ति बन जाता है।
उन्नत: Crawl-delay
हर ग्रुप पर लागू। यह RFC 9309 का हिस्सा नहीं है; Google इसे अनदेखा करता है, जबकि कुछ अन्य क्रॉलर इसे मानते हैं।
इसका उपयोग कैसे करें
- किसी प्रीसेट से शुरू करें या डिफ़ॉल्ट ग्रुप संपादित करें: user-agent सेट करें (सभी क्रॉलर के लिए «*»), फिर वे पाथ जोड़ें जिन्हें अनुमति या मनाही देनी है। फ़ाइल टाइप करते ही अपडेट होती है — कोई Generate बटन नहीं।
- जब अलग-अलग क्रॉलरों को अलग नियम चाहिए तो दूसरा ग्रुप जोड़ें, जैसे «*» के लिए सब कुछ अनुमत और GPTBot व CCBot जैसे AI क्रॉलरों के लिए मनाही। Sitemap URL और Crawl-delay वैकल्पिक हैं।
- परिणाम कॉपी करें या «robots.txt» डाउनलोड करें, फिर इसे साइट की जड़ (https://example.com/robots.txt) पर अपलोड करें। हर सबडोमेन को अपनी फ़ाइल चाहिए। भरोसा करने से पहले Search Console या किसी दूसरे robots.txt टेस्टर में व्यवहार जाँचें।
उदाहरण
नियम
ग्रुप 1: * — Disallow /admin/ ग्रुप 2: GPTBot — Disallow / Sitemap: https://example.com/sitemap.xml
robots.txt
User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml
ग्रुप स्वतंत्र हैं: «*» सिर्फ़ /admin/ ब्लॉक करता है, जबकि GPTBot पूरी साइट से ब्लॉक है। Sitemap पंक्ति किसी भी ग्रुप का हिस्सा नहीं है। गिनती «ग्रुप: 2 · नियम: 2» दिखाती है।
नियम, सीमाएँ और ज्ञात समस्याएँ
- robots.txt क्रॉलर का अभ्यास है, एक्सेस कंट्रोल नहीं: यह निजी पेज नहीं बचा सकता। जो कुछ भी निजी रहना चाहिए उसके लिए ऑथेंटिकेशन या सर्वर नियम इस्तेमाल करें।
- Google Crawl-delay अनदेखा करता है (यह RFC 9309 में परिभाषित नहीं है); कुछ अन्य क्रॉलर इसे मानते हैं। फ़ील्ड वैकल्पिक है और डिफ़ॉल्ट रूप से बंद, इसलिए जब तक आप मान टाइप न करें कुछ नहीं जुड़ता।
- AI प्रीसेट आम ट्रेनिंग क्रॉलरों की चुनी हुई सूची है — GPTBot, ChatGPT-User, Google-Extended, CCBot, ClaudeBot, PerplexityBot, Bytespider और Applebot-Extended। टोकन समय के साथ बदलते हैं; हर क्रॉलर का दस्तावेज़ देखें और ग्रुप ज़रूरत के अनुसार संपादित करें।
- पाथ केस-संवेदी हैं और «*» व «$» का समर्थन करते हैं। सबसे लंबा मेल खाता नियम जीतता है, पहला लिखा हुआ नहीं, इसलिए Allow को उस Disallow से ज़्यादा विशिष्ट होना चाहिए जिसे वह ओवरराइड करता है।
- ग़ैर-ASCII पाथ UTF-8 के रूप में लिखे जाते हैं। पुराने क्रॉलरों को प्रतिशत-एन्कोडेड URL चाहिए हो सकते हैं, इसलिए टूल चेतावनी देता है पर आपके टाइप किए को कभी नहीं बदलता।
- सिर्फ़ एक Sitemap URL समर्थित है। और जोड़ने के लिए परिणाम कॉपी करें और अतिरिक्त «Sitemap:» पंक्तियाँ जोड़ें। टूल आपकी साइट क्रॉल नहीं करता और यह भी नहीं जाँचता कि कोई URL वाकई ब्लॉक है या नहीं — उसके लिए बाहरी टेस्टर इस्तेमाल करें।
- कुछ भी अपलोड या संग्रहीत नहीं होता: नियम सिर्फ़ इस पेज में रहते हैं। प्रीसेट मौजूदा ग्रुप बदल देते हैं पर Sitemap और Crawl-delay रखते हैं; रीसेट सब कुछ साफ़ करता है। कोई अकाउंट, इतिहास या शेयर करने योग्य कॉन्फ़िग नहीं।
संबंधित टूल
फ़ाइल तैयार होने के बाद लोग आमतौर पर यह चाहते हैं।