Ultratech Robotstxt 1

كيف يؤثر ملف robots.txt على أرشفة صفحات موقعك بمحركات البحث

ما هو ملف robots.txt، ما يحدر بك معرفته حول ملف robots.txt، كيف يعمل ملف ملف robots.txt،كيف يمكنني إنشاء ملف robots.txt؟

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي بسيط متكون من أسطر عبارة عن أوامر وتوجيهات يتم وضع هذا الملف على خادم الويب الخاص بك يسمح أو يمنع  عناكب الزحف او روبوتات محركات البحث  مثل Googlebot من الوصول إلى ملفات موقعك وفهرستها.

بصفة عامة نلجأ غالبا لإستخدام  ملف robots.txt وذلك لمنع محركات البحث من أرشفة ملفات بالموقع لا نريد فهرستها  و كذلك لتفادي الوقوع في خطأ المحتوى المتكرر في محركات البحث.

ملف robots.txt يكون عام ويمكن لأي شخص مشاهدته, ويكون على المسار www.example.com/robots.txt

ما يحدر بك معرفته حول ملف robots.txt؟

  1. الاستخدام غير السليم لملف robots.txt يمكن أن يضر بترتيب موقعك.
  2. يتحكم ملف robots.txt في كيفية رؤية العناكب في محرك البحث لصفحات الويب الخاصة بك والتفاعل معها.
  3. لكي يتم العثور على الملف ، يجب وضع robots.txt في دليل المستوى الأعلى لموقع الويب.

كيف يعمل ملف robots.txt؟

أول ما تبحث عنه عناكب الزحف لدى محرك البحث عند زيارة موقعك  هو ملف robots.txt. حتى يتسنى لها معرفة ما إذا كان لديها إذن للوصول إلى تلك الصفحة أو الملف. فإدا كا ملف robots.txt  يحتوي على أمر الإذن بالدخول ، فسيستمر عنكبوت محرك البحث في الولوج الى ملفات الصفحة والتفاعل معها.

كيف يمكنني إنشاء ملف robots.txt؟

لإنشاء ملف robots.txt يدويا فقط عليك تتبع المراحل التالية:

أولا نقوم بإنشاء ملف نصي بإمتداد .txt نسميه robots.

ثانيا نقوم بملئ الملف “بالأوامر” التي نريد إعطائها للعناكب حسب رغبتنا.

ثالثا نقوم برفع الملف إلى جدر الموقع (الملف الرئيسي).

هذا نمودج مثالي لملف robots.txt يمكن إستعماله في أي موقع و طبعا يمكنك إضافة و إزالة أي أمر حسب رغبتك.

Ultratech Robotstxt

 

إقرأ أيضا:  Sexy Hot Yoga & Fitness Girls. You’re Welcome
Ultratech HTTP Keep Alive

كيف يؤثر HTTP keep-alive على سرعة موقعك

Ultratech Off Facebook Activity

فايسبوك تطرح ميزة مسح سجل التصفح off-Facebook activity