شرح كامل و مفصل لمحفظة بايير (Payeer)

ملف robots.txt هو عبارة عن مجموعة من الأوامر تؤدي لأرشفة أو منع أرشفة صفحات معينة في موقعك، وهو مهم جدًّا لتحسين السيو و أرشفة مواضيع مدونة بلوجر على محركات البحث.

الغرض الأساسي من ملف  robots.txt هو التحكم فى حركة الروبوتات الخاصة بمحركات البحث مثل جوجل و بينج و ياندكس والتى تقوم بفهرسة مواضيع موقعك الإلكتروني ليظهر في نتائج البحث ، و يمكنك من خلال بعض الأوامر في ملف robots.txt منع أرشفة صفحات و أقسام معينة داخل موقعك الإلكتروني. 

وفي هذا المقال سأقدم لكم ملف robots.txt الصحيح ، إضافة إلى طريقة إضافته إلى لوحة التحكم الخاصة بمنصة بلوجر مع طريقة تخصيصة و إختباره بإستعمال أداة محرك البحث جوجل.

ملف robots.txt الصحيح 

ملف robots.txt الصحيح مع كيفية تخصيصه

ملف robots.txt الإفتراضي و الذي يمكن لأي شخص إستخدامه و إضافته على بلوجر هو على هذا الشكل:

User-agent: Mediapartners-Google

Disallow: 

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.arbehi.com/sitemap.xml

محتويات ملف robots.txt

 ملف robots.txt

  

1. الكود الخاص بجوجل أدسنس ، يجب إضافته إذا كنت تعرض إعلانات أدسنس داخل موقعك.
2. تعنى السماح لروبوت جوجل ادسنس بإستكشاف الصفحات والاطلاع عليها لعرض إعلانات متوافقة مع محتوى موقعك أو مدونتك.
3. السماح لجميع روبوتات محركات البحث مثل جوجل و بينج و ياندكس بالدخول إلى موقعك و أرشفة جميع محتوياته.
4. منع روبوتات محركات البحث من أرشفة روابط البحث search أو التسميات ، تستطيع إستخدامه كذلك لمنع أرشفة الصفحات الثابتة مثل سياسة الخصوصية و إتصل بنا.
5. السماح لعناكب محركات البحث من الدخول و أرشفة مواضيع موقعك.
6. خريطة أو محتويات موقعك.

كيفية تخصيص ملف robots.txt

• تقوم بنسخ الكود الموجود في الأعلى أو يمكنك تحميله من الرابط الموجود أسفل المقال.
• إذا كنت لاتضع إعلانات أدسنس داخل موقعك، يمكنك إزالة القسمين 1 و 2.
• في القسم الأخير الخاص بملف robots.txt وهو Sitemap، تقوم بتغيير رابط مدونة إحتراف بلوجر و ووردبريس https://blog.arbehi.com/ برابط موقعك أو مدونتك.

طريقة إضافة ملف robots.txt إلى بلوجر

بعد إضافة رابط موقعك أو مدونتك إلى ملف robots.txt يمكنك الأن إستخدامه على منصة بلوحر، وللقيام بذلك إتبع الخطوات التالية:

1. تقوم بالدخول إلى منصة بلوجر. 
2. تقوم بالتوجه إلى الإعدادات.
3. أسفل قسم برامج الزحف والفهرسة، تقوم بتفعيل محتوى ملف robots.txt مخصص.
4. تقوم بإضافة كود ملف robots.txt داخل ملف robots.txt مخصّص.
5. تضغط على حفظ.

طريقة اضافة ملف الروبوت الي بلوجر

إختبار ملف robots.txt و إرساله إلى محرك البحث

بعد إضافة ملف robots.txt إلى بلوجر ستقوم بالتوجه إلى أداة اختبار ملف robots.txt التابعة لشركة جوجل وتقوم بهذه الخطوات:

1. إذا كان لديك أكثر من موقع إلكتروني على أدوات مشرفي المواقع، إختر الموقع الذي تريد إختباره.
2. سيظهر ملف robots.txt الخاص بموقعك مباشرة أو يمكنك وضعه بنفسك.
3. تضغط على Test لإختبار ملف robots.txt.
4. إذا ظهرت لك علامة ✅ فإن ملف robots.txt صحيح.
5. إضغط على إرسال أو Submit.
6. أمام Ask Google to update إضغط Submit.

اختبار ملف robots.txt

بهذه الطريقة قمت بإختبار ملف robots.txt الخاص بموقعك الإلكتروني وإرساله إلى محرك البحث جوجل.

الروابط المستخدمة في الشرح:

تحميل ملف robots.txt الصحيح 

أداة إختبار ملف robots.txt من جوجل 

الخلاصة:

الكثير من أصحاب المواقع و المدونات لا يعرفون طريقة إضافة ملف robots.txt أو يقومون بإستخدامه بطريقة غير صحيحة، لذلك أردت أن أقدم لكم هذا الشرح ، إذا قمت بتطبيقه ستتخلص من جميع المشاكل المرتبطة بملفات robots.txt و أرشفة موقعك أو مدونتك على محركات البحث، إذا إستفدت لا تنسي مشاركة الموضوع لدعمنا علي تقديم الأفضل.

تعديل المقال