عن أداة مولّد ملف robots.txt
ملف robots.txt هو أول ما تبحث عنه زواحف محركات البحث عند زيارة أي موقع. يوضع في جذر النطاق، مثل example.com/robots.txt، ويخبر الزواحف بالأقسام المسموح لها بزيارتها وبمكان خريطة الموقع. هذا المولد يبني الملف من اختياراتك: تحدد هل القواعد لكل الزواحف أم لزاحف معيّن مثل Googlebot أو GPTBot، وتكتب المسارات الممنوعة (Disallow) والمسموحة (Allow) سطراً لكل مسار، وتضيف مهلة الزحف ورابط خريطة الموقع إن أردت، أو تمنع الموقع كله عن هذه الزواحف. ثم تنسخ أو تنزّلها ملفاً باسم robots.txt.
الأداة مناسبة لأصحاب المواقع الجديدة، والمدونين الذين انتقلوا إلى نطاق خاص بهم، والمطورين الذين يطلقون موقعاً لعميل، ولكل من لا تنشئ منصته ملف robots.txt تلقائياً. وتنبهك إلى أي مسار لا يبدأ بشرطة مائلة. يعتمد الناتج على الأوامر القياسية التي تفهمها Google وBing وغيرها. وتذكّر أن هذا الملف يوجّه الزواحف فقط، ولا يخفي الصفحات عن الناس ولا يحمي المحتوى الخاص.
لماذا تستخدم هذه الأداة؟
- ينتج ملف robots.txt صحيحاً بالصياغة القياسية، جاهزاً للنسخ في ملف نصي.
- يتضمن سطر Sitemap ليصل محرك البحث إلى صفحاتك كلها بشكل أسرع.
- يسمح بالزحف إلى الموقع كله افتراضياً، وهو الإعداد المناسب لمعظم المواقع العامة.
- يمنع المسار الشائع /admin/ كقاعدة بداية يمكنك إبقاؤها أو تعديلها.
- يعمل داخل متصفحك، مع زر للنسخ وزر لتنزيل الملف جاهزاً.
طريقة الاستخدام
اختر الزواحف
اختر «كل الزواحف (*)» أو اكتب اسم زاحف معيّن مثل Googlebot أو GPTBot.
اكتب المسارات
في خانة Disallow اكتب كل مسار تريد منعه في سطر، مثل /admin/ و/cart/، وفي خانة Allow ما تريد السماح به داخلها. كل مسار يبدأ بشرطة مائلة.
أضف خريطة الموقع
الصق الرابط الكامل لملف خريطة الموقع، مثل https://example.com/sitemap.xml، ثم اضغط «توليد robots.txt».
نزّل الملف وارفعه
اضغط «تنزيل robots.txt» وارفع الملف إلى جذر نطاقك ليفتح على الرابط yourdomain.com/robots.txt.
أمثلة عملية
مدونة ووردبريس جديدة
تكتب /wp-admin/ في Disallow و/wp-admin/admin-ajax.php في Allow، وتضيف https://myblog.com/sitemap_index.xml، فتحصل على ملف يبعد الزواحف عن لوحة التحكم ويدلها على فهرس الخرائط.
متجر إلكتروني فيه صفحات خاصة
يكتب صاحب المتجر /cart/ و/checkout/ في خانة Disallow، فتتجاوز الزواحف صفحات لا قيمة لها في البحث.
منع زواحف الذكاء الاصطناعي
تختار زاحفاً معيّناً وتكتب GPTBot، ثم تفعّل «منع الموقع كله»، فيُنتج الملف User-agent: GPTBot مع Disallow: /.
التحقق من الملف بعد الرفع
بعد رفع الملف يفتح صاحب الموقع example.com/robots.txt في المتصفح ليتأكد أن الأسطر تظهر كما وُلّدت.
| السطر | المعنى |
|---|---|
| User-agent: * | القواعد التالية تنطبق على جميع الزواحف |
| Allow: / | يُسمح للزواحف بالوصول إلى كل مسارات الموقع |
| Disallow: /admin/ | لا تطلب الزواحف أي صفحة داخل /admin/ |
| Sitemap: https://… | الرابط الكامل لملف خريطة الموقع XML |
نصائح مهمة
- يجب أن يكون اسم الملف robots.txt بحروف صغيرة، وأن يوضع في جذر النطاق، فالزواحف لا تبحث عنه في المجلدات الفرعية.
- أمر Disallow يمنع الزحف لكنه لا يضمن إبعاد الصفحة عن نتائج البحث، فاستخدم وسم noindex للصفحات التي يجب ألا تُفهرس.
- لا تكتب في robots.txt روابط سرية، فالملف عام ويستطيع أي شخص قراءته.
- لا تمنع مجلدات CSS وJavaScript التي تحتاجها صفحاتك، وإلا قد لا تعرض محركات البحث موقعك بشكل صحيح.
- كل نطاق فرعي يحتاج ملف robots.txt خاصاً به، مثل shop.example.com/robots.txt.
يُولَّد الملف داخل متصفحك، ولا يُرسل الرابط الذي تكتبه إلى أي خادم.
الأسئلة الشائعة
ما هو ملف robots.txt؟
ملف نصي بسيط في جذر الموقع يخبر زواحف محركات البحث بالأجزاء التي يمكنها زيارتها. ويتبع بروتوكول استبعاد الروبوتات الذي تحترمه محركات البحث الكبرى.
أين أضع ملف robots.txt؟
في المجلد الرئيسي لنطاقك بحيث يفتح على الرابط https://yourdomain.com/robots.txt، أما الملف داخل مجلد فرعي فيُتجاهل.
ما القواعد التي ينشئها المولد؟
سطر User-agent للزواحف التي اخترتها، ثم سطر Disallow لكل مسار ممنوع (أو Disallow: / إذا منعت الموقع كله)، وسطر Allow لكل مسار مسموح، وCrawl-delay وSitemap إذا ملأتهما. الافتراضي يمنع /admin/ و/cart/.
هل يجب إدخال رابط خريطة الموقع؟
الخانة اختيارية، لكن يُنصح بإدخال رابط خريطة موقعك. فإذا تركتها فارغة يستخدم الناتج رابط خريطة موقع أدواتي كقيمة مؤقتة يجب استبدالها.
موقعي لا يحتوي على مجلد /admin/، فهل هذه مشكلة؟
لا، فقاعدة Disallow لمسار غير موجود لا تؤثر في شيء، ويمكنك حذف السطر إذا أردت ملفاً أبسط.
كيف أمنع مجلداً آخر؟
أضف سطراً جديداً تحت القواعد الموجودة، مثل Disallow: /private/، واستخدم سطر Disallow مستقلاً لكل مسار.
هل يحذف robots.txt الصفحات من نتائج Google؟
ليس بشكل مضمون. هو يمنع الزحف، لكن الرابط الممنوع قد يظهر في النتائج إذا أشارت إليه مواقع أخرى. لإبعاد صفحة عن الفهرس اسمح بالزحف إليها واستخدم وسم noindex.
هل يحمي robots.txt المحتوى الخاص؟
لا، هو طلب علني تلتزم به الزواحف المحترمة، والزواحف الضارة قد تتجاهله. احمِ الأقسام الخاصة بكلمات مرور أو قواعد على الخادم.
كيف أحفظ الناتج كملف؟
اضغط «تنزيل robots.txt» فيُحفظ الملف بالاسم والترميز الصحيحين، أو انسخ النص والصقه في محرر نصوص عادي واحفظه باسم robots.txt بترميز UTF-8.
كيف أختبر ملف robots.txt؟
افتح رابط الملف في المتصفح لتتأكد أنه يظهر، ثم راجعه في Google Search Console الذي يوضح كيف يقرأ Google ملفك.
هل أحتاج ملف robots.txt إذا كان موقعي صغيراً؟
ليس إلزامياً، فغياب الملف يعني أن الزواحف تزور كل شيء. لكن وجوده مع سطر Sitemap يساعد محركات البحث على اكتشاف صفحاتك، ويمنع ظهور أخطاء «الملف غير موجود» في تقارير أدوات مشرفي المواقع.
هل يمكن وضع قواعد مختلفة لكل زاحف؟
نعم، أضف مجموعة جديدة تبدأ بسطر User-agent لزاحف محدد، مثل User-agent: Googlebot، ثم اكتب قواعده تحته.
متى تلاحظ محركات البحث التغييرات؟
تعيد الزواحف قراءة robots.txt عادةً خلال يوم تقريباً، وقد يختلف التوقيت من محرك بحث لآخر.
آخر تحديث: