أدواتي

مولّد robots.txt

عدّل قواعد الزواحف واحصل على robots.txt فورًا — بلا زر وبلا رفع.

رابط كامل؛ يضاف كسطر Sitemap: في نهاية الملف.

متقدم: Crawl-delay

يُطبّق على كل مجموعة. ليس جزءًا من RFC 9309؛ يتجاهله Google بينما تحترمه بعض الزواحف الأخرى.

ملف robots.txt الناتج
طريقة الاستخدام
  1. ابدأ من إعداد مسبق أو عدّل المجموعة الافتراضية: اكتب وكيل المستخدم (“*” لكل الزواحف)، ثم أضف المسارات التي تريد السماح بها أو حظرها. يتحدّث الملف أثناء الكتابة — لا يوجد زر “إنشاء”.
  2. أضف مجموعة أخرى عندما تحتاج زواحف مختلفة إلى قواعد مختلفة، مثل السماح للكل عبر “*” وحظر زواحف الذكاء الاصطناعي مثل GPTBot وCCBot. رابط خريطة الموقع وقيمة Crawl-delay اختياريان.
  3. انسخ النتيجة أو نزّل “robots.txt”، ثم ارفعه إلى جذر الموقع (https://example.com/robots.txt). يحتاج كل نطاق فرعي إلى ملفه الخاص. تحقّق من السلوك في Search Console أو أداة اختبار robots.txt قبل الاعتماد عليه.
مثال
القواعد
المجموعة 1: * — حظر /admin/
المجموعة 2: GPTBot — حظر /
خريطة الموقع: https://example.com/ar/sitemap.xml
robots.txt
User-agent: *
Disallow: /admin/

User-agent: GPTBot
Disallow: /

Sitemap: https://example.com/ar/sitemap.xml
المجموعتان مستقلتان: “*” يحظر /admin/ فقط، بينما GPTBot محظور من الموقع كله. سطر خريطة الموقع لا ينتمي إلى أي مجموعة. يظهر العداد “المجموعات: 2 · القواعد: 2”.
القواعد والحدود والمسائل المعروفة
  • robots.txt عرف بين الزواحف وليس وسيلة تحكم بالوصول: لا يحمي الصفحات الخاصة. استخدم تسجيل الدخول أو قواعد الخادم لما يجب أن يبقى خاصًا.
  • يتجاهل Google قيمة Crawl-delay (وهي ليست جزءًا من RFC 9309)؛ بينما تحترمها بعض الزواحف الأخرى. الحقل اختياري ومعطّل افتراضيًا، ولا يُضاف شيء إن تركته فارغًا.
  • إعداد الذكاء الاصطناعي قائمة منتقاة لزواحف تدريب شائعة — GPTBot وChatGPT-User وGoogle-Extended وCCBot وClaudeBot وPerplexityBot وBytespider وApplebot-Extended. تتغيّر الرموز مع الوقت؛ راجع وثائق كل زاحف وعدّل المجموعات حسب الحاجة.
  • المسارات حساسة لحالة الأحرف وتدعم “*” و“$”. القاعدة الأطول تطابقًا هي التي تفوز، لا أول قاعدة مكتوبة؛ لذلك يجب أن يكون Allow أكثر تحديدًا من Disallow الذي يلغيه.
  • تُكتب المسارات غير ASCII بترميز UTF-8. قد تحتاج الزواحف القديمة إلى ترميز نسبة مئوية، لذا تنبّه الأداة ولا تعيد كتابة ما كتبته.
  • يُدعم رابط خريطة موقع واحد فقط. لإضافة المزيد، انسخ النتيجة وأضف أسطر “Sitemap:” إضافية. لا تزحف الأداة إلى موقعك ولا تتحقق مما إذا كان رابط محظورًا فعلًا — استخدم أداة اختبار خارجية.
  • لا رفع ولا تخزين: تبقى القواعد في هذه الصفحة فقط. تستبدل الإعدادات المسبقة المجموعات الحالية لكنها تحتفظ بخريطة الموقع وCrawl-delay؛ أما إعادة الضبط فتمسح كل شيء. لا حساب ولا سجل ولا إعداد قابل للمشاركة.
ما يحتاجه المستخدم عادة بعد تجهيز الملف.
محلّل وكيل المستخدم
رموز حالة HTTP