كل ما تحتاج إلى معرفته عن ملف robots.txt

إن كنت تمتلك موقع إلكتروني، فلا شك أن تعزيز ظهور موقعك في الصفحات الأولى لنتائج محركات البحث هو أمر جوهري بالنسبة لك. لن تحقق ذلك إلا إذا تمكنّت من تسريع عملية فهرسة صفحات موقعك، ومن هنا تبرز أهمية ملف robots.txt. إذًا، ما هو ملف robots txt؟ وهل هو بتلك الأهمية حقًا؟

ما هو ملف robots txt؟

ملف robots txt عبارة عن ملف نصي عادي يتم وضع بعض الأكواد البسيطة به لمنع الزحف لصفحات معينة لا نريد ظهورها في محركات البحث. بالتالي، تقليل كمية البيانات أو الصفحات المطلوب تتبعها من عناكب محركات البحث، وبالتبعية فهرسة الموقع على محركات البحث بسرعة.

عناكب البحث لها حصة معينة من صفحات الموقع الواحد لا يجب أن تزيد عنها أثناء عملية الزحف الواحدة. لذا فكلما قلت عدد الصفحات، تمت فهرستها بسرعة أكبر. من الصفحات غير المهمة في عملية الفهرسة؛ صفحات المسؤول، ومجلدات الإضافات Plugins والقوالب Themes، وكذلك الصفحات الأساسية الخاصة بنواة ووردبريس نفسه، وغيرها من الصفحات.

يساعد ملف robots.txt موقعك في الحصول على نتائج مفيدة من خلال زيادة سرعة الفهرسة عن طريق منع ملفات ومجلدات لا أهمية لها من الفهرسة. ويحسن استخدام الخادم الخاص بك من خلال منع الروبوتات التي تهدر الموارد، حيث يمنع حدوث تحميل زائد على الخادم لتعدد الطلبات الواردة من زاحف جوجل.

قد لا يخفي ملف robots.txt صفحاتك عن الزائرين إذا كانوا يعرفون نقاط ضعف ووردبريس ولكنه يساعد بشكل كبير على منع عامة المستخدمين من إيجاد صفحات لا ترغب في ظهورها.

ما هي محتويات ملف robots.txt؟

يتكون ملف robots txt من مجموعة من الأسطر البرمجية البسيطة، توضح الصورة الآتية إحدى أبسط شكل ممكن للملف:

يمكن أن يحتوي الملف على عدة أسطر أخرى إضافية من الأوامر البرمجية الأكثر استخدامًا مثل:

User-Agent: *

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins/

Disallow: /wp-admin/

Disallow: /readme.html

Disallow: /refer/

Sitemap: https://Your_Domin/sitemap.xml

هذه المحتويات عبارة عن:

• السماح لعناكب البحث برؤية الملفات المرفوعة مثل وسائط الصور والفيديو من خلال الأمر سماح Allow لمجلد uploads أسفل المجلد الأب wp-content.
• منعها من رؤية الإضافات ومجلداتها وملفاتها من خلال الأمر منع Disallow للمجلد plugins أسفل المجلد الأب wp-content.
• منعها من رؤية المجلد المسؤول عن الدخول للموقع wp-admin، ومنع رؤية ملف readme وروابط الأفيليت بكل أنواعها.

هل يمنع ملف robots.txt الوصول إلى الصفحات المختارة نهائيًا؟

قد لا يمنع ملف robots.txt ظهور صفحاتك على محركات البحث نهائيًا، والسبب في ذلك يعود إلى احتمالية أن يكون أحد المواقع أو عدة مواقع أخرى تشير عن طريق روابط إلى الصفحات الممنوعة في الملف robots.txt. بالتالي، فإن روبوتات محركات البحث تزحف إلى الصفحة رغمًا عنك وعن الملف.

الحل في هذه الحالة هو عمل بيانات وصفية Metatags بإشارة noindex وهي طريقة بسيطة جدًا. لعمل ذلك من خلال إضافة Yoast SEO اذهب إلى الإعدادات المتقدمة أسفل الصفحة المراد منع فهرستها. كما بالصورة التالية:

بعد فتح الاعدادات المتقدمة فقط اختر زر الراديو No التابع لجملة “يجب أن تتبع محركات البحث الارتباطات الموجودة على هذه المقالة أو الصفحة” كما بالصورة.

كيفية إنشاء ملف robots txt

يمكن إنشاء ملف robots.txt يدويًا أو عن طريق إضافات تحسين محركات البحث المشهورة مثل Yoast SEO أو All In One SEO. لكن إذا كنت لا تفضل كتابة الأكواد بنفسك منعًا لحدوث خطأ أو لتوفير وقتك، فيمكنك بسهولة توظيف مطور محترف عبر موقع مستقل، أكبر منصة عمل حر عربية لإنهاء الأمر بكل احترافية.

1. إنشاء ملف robots.txt عن طريق notepad

لنفترض أنك تعمل على تطوير وتصميم موقع جديد، في هذه الحالة أنت تحتاج أن لا تُفهرس أي صفحة من صفحات الموقع على محركات البحث. بالتالي، فأنت تريد منع وصول البوتات إلى موقعك بالكامل ولعمل ذلك يمكنك عمل ملف robots.txt بالأمر التالي:

User-agent: *

Disallow: /

إنشاء ملف robots txt عن طريق notepad بسيط جدًا. فقط اكتب الأمر في ملف notepad مع تسميته بالاسم “robots” وبامتداد “txt.” مع مراعاة أن يكون الملف بنظام الترميز UTF-8 وليس بنظام الـ ASCII العادي، لمعرفة كيفية اختيار الترميز أنظر الصورة التالية:

2. إنشاء ملف robots.txt عبر أداة مولد robots txt

توجد العديد من المواقع لتوليد ملف robots.txt مثل موقع sureoak، ببعض من الخبرة البسيطة يمكن إنشاء الملف بسهولة ثم تنزيله، ثم إضافة ملف robots.txt بعد ذلك إلى مجلد الجذر في مستضيف موقعك وهو غالبًا مجلد public_html.

لعمل ذلك، اذهب إلى موقع sureoak واضف رابط خريطة الموقع، ثم أضف كود منع أي صفحات ومجلدات كما بالصورة التالية:

3. إنشاء ملف robots.txt بواسطة الإضافات

تساعدك إضافات تحسين محركات البحث المشهورة مثل Yoast SEO أو All In One SEO في منع معظم الروبوتات السيئة الشائعة من الزحف إلى بياناتك عبر أكواد تكتب داخل ملف Robots.txt. إذ إن هناك نوعان من البوتات أو العناكب Spiders، إما سيء أو جيد.

النوع الجيد هو المعروف لنا مثل روبوتات محركات البحث جوجل وبنج وياندكس. إلى جانب روبوتات الشركات والمنظمات العالمية مثل أليكسا المسؤول عن وضع ترتيب لموقعك عالميًا ومحليًا. إضافة إلى روبوتات موقع MOZ الذي يعطي مقياس لموقعك بطريقة أخرى وهي Domain Authority، وغيرها من الشركات الداعمة لموقعك.

ومن جهة أخرى، توجد البوتات السيئة التي تُبرمج لأسباب مثل إزالة المحتوى الخاص بموقعك أو تنزيل أرشيفات كامل من موقعك أو استخراج صورك وغيرها من الأمور التي تستهدف السرقة أو التدمير.

تركيب ملف robots txt بسيط جدًا والتعامل معه من خلال الإضافات من أسهل الطرق. حيث تأتي كلا الإضافتين بإمكانيات تسهل كتابة الأكواد داخل ملف robots.txt. لنرى كيف يتم ذلك:

أ. من خلال إضافة Yoast SEO

بعد تنصيب وتفعيل إضافة Yoast SEO، اذهب إلى القائمة الفرعية من SEO واختار أدوات:

سيظهر لك التالي، اضغط على رابط محرر الملف:

ثم انقر زر إنشاء ملف robots.txt:

يمكنك الآن كتابة الأكواد التي تريد من خلال المحرر ثم حفظ التغيرات لملف robots.txt:

ب. من خلال All In One SEO

بعد تنصيب وتفعيل إضافة All In One SEO، اذهب إلى القائمة الفرعية واختيار Tools كما بالصورة:

من خلال اختيار التبويب Robots.txt Editor يمكنك الضغط على Enable Custom Robots.txt وتفعيله كما بالصورة الآتية:

سيظهر لك حقل واحد في البداية لإضافة سطر كود برمجي للسماح أو منع ملف أو مجلد معين، لزيادة عدد الحقول إضغط على إضافة تعليمات كالتالي:

يمكنك الآن كتابة اسم الملف أو المجلد الذي تريد له السماح أو المنع كما بالصورة التالية:

اضغط Save Changes للحفظ وظهور الأكواد في ملف robots.txt.

كيفية اختبار ملف robots txt

لكي تختبر هل نجح ملف robots.txt في منع ظهور الملفات المرفقة، يتم عمل هذا الاختبار من خلال أدوات جوجل Google Search Console Robots Testing Tool. وإذا تم عمل noindex لصفحة اُختبرت من خلال Google Search Console. الاختبار يكون من خلال الأدوات كما بالصورة الآتية:

ملف robots.txt مهم لمحركات البحث وخاصة لعملية الفهرسة، فيمكنك من خلاله مثلًا منع محرك بحث مثل Bing من الوصول إلى أي صفحة تريدها ويمكنك السماح للمحركات الأخرى بفهرسة المحتوى. ولكن، كقاعدة أساسية ليس الملف بالكفاءة التي تمنع وصول المستخدمين إلى مجلدات وصفحات الموقع نهائيًا.