إنشاء ملف robots.txt

إنشاء ملف robots.txt

هو ملف لأعطاء تعليمات وأوامر لتنظيم أرشفة موقعك في محركات البحث, ويسمى بـRobots Exclusion Protocol.

ووظيفته الأساسية هي أبعاد عناكب البحث عن الملفات الحساسة في موقعك والتي لا تريد أن تقوم محركات البحث بأرشفتها, مثل صفحات الادارة و الأرشيف, وتوجيه العناكب إلى صفحات مهمة وضرورية لأرشفتها مثل المقالات والمواضيع والصفحات.

ملف robots.txt يكون عام ويمكن لأي شخص مشاهدته, ويكون على المسار www.example.com/robots.txt,

و يقوم بإعطاء توصيات و توجيهات للعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه, و أقول توصيات لأن بعض العناكب قد لا تحترم هذه الإعدادات, خاصة العناكب المزعجة “spammers ” و عناكب القرصنة التي تدخل لفحص التغرات الأمنية في المواقع.

يستعمل ملف robots.txt غالباً من أجل منع محركات البحث من أرشفة أشياء غير نافعة للمستخدم كصفحة تسجيل الدخول, صفحة التسجيل, صفحات أو اقسام لا نريد أرشفتها و كذلك لتفادي المحتوى المتكرر في محركات البحث (خطأ قاتل بالنسبة لمحرك البحث قوقل) و حذف روابط معينة أو الموقع بأكمله منها.

لئنشاء ملف robots.txt يدويا فقط عليك تتبع المراحل التالية:
أولا نقوم بإنشاء ملف نصّي بإمتداد .txt نسميه robots.
ثانيا نقوم بملئ الملف “بالأوامر” التي نريد إعطاها للعناكب حسب رغبتنا.
ثالثا نقوم برفع الملف إلى جدر الموقع (الملف الرئيسي).
هذا نمودج مثالي لملف robots.txt يمكن إستعماله في أي موقع تم إنشائه بواسطة ووردبريس, فقط يجب عليك إستبدال رابط خريطة الموقع XML Sitemap بالرابط الخص بك و طبعاً يمكنك إضافة و إزالة أي أمر حسب رغبتك.

User-agent: *

Disallow: /author Disallow: /comments/feed/ User-agent:Googlebot-Image Allow:/wp-content/uploads/ User-agent:Googlebot-mobile allow:/ User-agent:mediapartners-Google* allow:/ sitemap: https://......com/sitemap.xml

إذا لم يكن لديك ملف robots.txt ، فسيظل محرك البحث يزحف ويفهرس موقعك. ومع ذلك ، لن تكون قادرًا على إخبار محركات البحث بالصفحات أو المجلدات التي لا يجب الزحف إليها.

 

لن يكون للملف تأثير في بداية انشاء الموقع لأول مرة. لكن مع نمو الموقع وزيادة حجم المحتوى فمن المحتمل أن تريد التحكم بشكل أفضل في كيفية زحف عناكب البحث الي موقعك وفهرسته. هذا هو السبب. عناكب البحث تقوم بالزحف إلى عدد معين من الصفحات خلال جلسة الزحف. إذا لم ينهوا الزحف إلى جميع صفحات موقعك ، فسوف يعودون ويستأنفون عملية الزحف في المرة المقبلة.

 

هذا يمكن أن يبطئ معدل فهرسة موقعك. يمكنك إصلاح ذلك عن طريق منع روبوت البحث من محاولة الزحف إلى الصفحات غير الضرورية مثل صفحات ملفات الووردبريس وملفات قوالب الووردبريس و الاضافات. بإلغاء السماح بالوصول الي الصفحات غير الضرورية ،

يمكنك تحديد الصفحات المهمة في موقعك. هذا يساعد محركات البحث في الزحف إلى مزيد من صفحات موقعك وفهرستها في أسرع وقت ممكن. سبب آخر لاستخدام ملف robots.txt هواستخدامه عندما تريد منع محركات البحث من فهرسة مقال أو صفحة داخل موقعك.

 

ليست الطريقة الأفضل إخفاء المحتوى عن الزوار ، من خلال ملف robots يمكنك منعهم من الظهور في نتائج البحث.

يسمح ملف robots هذا لجميع العناكب بفهرسة محتوي الموقع بالكامل ويوفر لهم رابط لملفات خريطة الموقع Sitemap XML. بالنسبة إلى مواقع WordPress ، نوصي استخدام النص التالي في ملف 

robots.txt: User-Agent: * Allow: /wp-content/uploads/ Disallow: /wp-content/plugins/ Disallow: /wp-admin/ Disallow: /readme.html Disallow: /refer/ Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml  

 

اقراء ايضا :