اكاديمية ورشة لونك

ملف Robots.txt و ميتا الروبوتات

لقد جمعت ميتا تاج ملف الروبوتس Robots.txt و محتوي ملف الروبوتس في مكان واحد و هذا لأنهم يفعلوا نفس الأشياء بطرق مختلفة . واحد هو ملف ، و الأخر تاج HTML و لكن كلاهما يسمح ان تسمح او تمنع زحف محركات البحث في موقعك .

ملف الروبوتس Robots.txt هو ملف تقوم بإنشائه علي السيرفر و يخبر روبوتات الزحف لمحركات البحث مثل جوجل و بينج (و بعض روبوتات الزحف “السيئة”) ما الأماكن التي بإمكانه الزحف إليها و ما الأماكن الممنوع من الزحف إليها . فإن هذا الملف مهتمه الأساسية و موجود كدليل للروبوتات الزحف و توجيهها في موقعك .

مثال : ملف الروبوتس Robots.txt الخاص بنا

https://www.academy.yourcolor.net/robots.txt

علي سبيبل المثال ، أنت لا تريد عرض منطقة “التحكم” في نتائج البحث و للمستخدمين فإنه بإمكانك من خلال ملف الروبوتس ، إخبار جوجل عدم الزحف إليها .

و أيضاً ، إذا تريد التأكد من إنه يتم الزحف لجزء مُعين في موقعك ، فيمكنك الإشارة إليه في ملف الروبوتس Robots.txt أيضاً .

تحتوي معظم المواقع على “ميزانية زحف” محدودة جدا ، أي مقدار الصفحات التي سيتم الزحف إليها في كل مرة يزور فيها روبوت جوجل موقعك . و مع ذلك ، فإنك تريد حقاً تحسين وقت روبوت جوجل عند زيارته لموقعك . لا تريد جوجل أن تضيع وقتها في أقسام غير ملائمة في موقعك و تجعلها تزحف إلي الأقسام الأكثر أهمية .

يعد ملف روبوتس الخاص بـ لينكدإن مثال رائع لملف Robots.txt مدروس . آخر فحص قمنا به علي الملف الخاص بهم كان هناك أكثر من 1000 إدخال لمحركات البحث . علي موقع ضخم مثل هذا فإنهم يحتاجون حقاً إلي الإطلاع علي الصفحات الذي يريدون فتحها لزحف جوجل أو منعها بالخصوص إلي إنهم لديهم أكثر من 200،000،000 (200 مليون) نتيجة في جوجل .

يمكنك منع فهرسة رابط مُعين في ملف روبوتس ، و لكن جوجل سوف تكون بإمكانها فهرسته . سأعيد صياغة الجملة : لمجرد إنك تخبر جوجل بعدم السماح لعنوان الرابط هذا ، لا ينعني إنها سوف تسمع لك .

يجب أن تأخذ في الإعتبار ، ليس من المفيد الأعتماد علي ملف Robots.txt بشكل كلي لحظر أو إلغاء حظر صفحات في محركات البحث . فإن ملف روبوتس مناسب كمرجع أو مبدأ إرشادي لروبوتات محركات البحث مثل جوجل لمساعدته في الزحف إلي المناطق الكبيرة و المهمة في موقعك .

إذا كنت تريد حقاً فهم ملف Robots.txt بشكل أعمق و أفضل ، فإن جوجل كتبت مواصفات مفصلة جداً علي موقع جوجل المطورين Google Developers .

ربما ملف Robots.txt لا يضع خطة عمل لتحسين محركات البحث أو تدميرها ، و لكنه من المحتمل إنه يساعد في التحسين .

أمثلة ملف Robots.txt في السيو

ملف Robots.txt يسمح بـ CSS و جافا سكربت

لقد كان هذا موضوع شائع و يتكلم عنه الكثير في الأشهر الأخيرة ، بالخصوص و إن جوجل تسلم تحذيرات حول حظر CSS و الجافا سكربت . أحد حلول هذه المشكلة هي إضافة هذا إلي ملف robots.txt . سوف يضمن هذا عدم حظر السيرفر لأي جافا سكربت أو سي اس اس .

User-Agent: Googlebot
Allow: .js
Allow: .css

هذا المثال يخبر ياهو (رمزه مسمي بـ “Slurp” بعدم الزحف إلى هذا الرابط علي موقعك)

User-agent: Slurp
Disallow: /cgi-bin/

هذا المثال يخبر كل روبوتات الزحف بإنها يمكنها الزحف إلي جميع ملفات موقعك .

User-agent: *
Disallow:

هذا المثال يخبر جميع روبوتات محركات البحث بعدم الزحف إلي موقعك نهائياً .

User-agent: *
Disallow: /

هذا المثال يخبر كل روبوتات محركات البحث بعدم الزحف إلي هذه المجلدات المحددة

User-agent: *
Disallow: /administrator/
Disallow: /login.php/
Disallow: /private-files/

هذا المثال يخبر جميع روبوتات محركات البحث بعدم الزحف إلي ملف واحد محدد

User-agent: *
Disallow: /directory/file.html

ميتا تاج روبوتس

ميتا تاج الروبوتس هي التاج التي يمكنك إضافتها في هيدر موقعك ، لتعطي بعض روبوتات محركات البحث مثل جوجل إرشادات الزحف حول كيفية الزحف إلي موقعك . مثال ، هذه هي الطريقة التي سوف يظهر بها القليل منهم .

<meta name=”robots” content=”noindex”>

<meta name=”robots” content=”nofollow”>

في حين إن ميتا تاج الروبوتس ليست عامل مهم و مباشر في ترتيب موقعك ، و لكنه يلعب دور حيوي و مهم في تحسين السيو بشكل شامل في موقعك .

هناك العديد من العوامل المتخلفة التي يمكنك إستخدامها في ميتاج تاج الروبوتس ، و هذا جدول يوضح بعض أهم العوامل الشعبية و المحركات التي تعترف بها .

القيمة جوجل ياهو / بينج
index نعم نعم
noindex نعم نعم
nofollow نعم نعم
none نعم ربما
follow نعم ربما
noodp نعم نعم
noarchive نعم نعم
nosnippet نعم لا

و لأن هذا هو الغرض من هذه المقالة ، سوف نتحدث بشكل أساسي عن روبوتات محركات البحث مثل جوجل و Slurp (و يُعرف أيضاً بإسم ياهو) .

Index, Noindex

ميتا Index للروبوتس هي للتأكد من فهرسة هذه الصفحة بعينها . و هذه هي العكس ، فإن تاج noindex تعلم روبوت الزحف بعدم فهرسة هذه الصفحة . أحيانا حتي لو كانت الصفحة “Noindex” فإن ظهورها يستمر في نتائج البحث . لهذا إذا كنت لا تريد فهرسة موقعك علي الويب ، نصيحتي لك هي عدم إدراج موقعك علي الويب المفتوح بمعني أن لا تجعل موقعك أمام الجميع ، فإنه بإمكانك نقل الموقع علي مجلد فرعي ، أو أغلقه بكلمة مرور .

و من الأمثلة الجيدة علي تاج Noindex صفحات Admin و صفحات تسجيل الدخول و بالتأكد هذه الصفحات لا تريد من جوجل الزحف إليها . هذه الصفحات يمكن أن تربك المستخدمين إذا شاهدوها في نتائج البحث .

Follow, nofollow

تاج Nofollow تخبر روبوتات محركات البحث بعدم إتباع الروابط الموجودة بهذه الصفحة . و بالعكس ، تاج Follow تخبر روبوتات محركات البحث بإتباع الروابط الموجودة بهذه الصفحة بشكل صريح .

المعلمات و تاجات أخري

المعلمات الأخري ليست شعبية مثل الأخرين . فإن Noodp يخبر DMOZ بعدم إدراج الموقع في دليله . و noarchive تخبر روبوت archive.org بعدم إدراج الموقع في أرشيفه . أحد الأسباب التي قد تجعل المواقع تستبعد هؤلاء روبوتات الزحف هو لأنها يمكن أن يستغرق الكثير من موارد السيرفر .

في معظم الأحيان ، معظم المستخدمين لا تحتاج حقاً إلي إستخدام غالبية هذه المعلمات بإستثناء Noindex و Nofollow .

مهاب البوشي

مهاب البوشي

مهاب البوشي ، مؤسس شركة ترويج 'Trweeg.Com' و مسئول السيو و التسويق في ورشة لونك و مدير اكاديمية ورشة لونك التعليمية .

اضف تعليق