اكاديمية ورشة لونك

ما هو روبوتس Robots.txt

ما هو ملف روبوتس Robots.txt و ما هي مهامه

إن ملف روبوتس Robots.txt عبارة عن ملف نصي من خلاله تستطيع تقديم الإرشادات حول موقعك لروبوتات الزحف .

و محركات البحث مثل جوجل تقوم بإستخدام هذه الزواحف , أحيانا يطلق عليها روبوتات الإنترنت , لتصنيف و ارشفة المواقع تقوم هذه العناكب بالبحث أولا عن ملف Robots.txt علي موقعك لمعرفة ما هي الصفحات التي يمكنها أرشفتها و الصفحات الغير مسموح لها بأرشفتها لأنك من خلال ملف Robots.txt تقوم بتحديد الصفحات التي لا تريد إظهارها في محركات البحث إي لا تريد أرشفتها و هذا علي حسب قد يكون بسبب الخصوصية أو إنها صفحة غير مهمة أو صفحة ليس بها محتوي أو محتواها ليس له أي صلة بتصنيف الموقع و تقوم بتحديد الصفحات التي تريد أرشفتها .

إذا كان موقعك بها أكثر من صب دومين يعني دومين فرعي يجب أن يحتوي كل واحد منهم علي ملف Robots.txt خاص بها , و يجب أن تعلم جيدا إن ليس جميع روبوتات الزحف سوف تحترم ملف Robots.txt و تقوم بتنفيذ ما بداخله , أحيانا ستجد صفحات قمت انت بمنع عناكب محركات البحث بالزحف في نتائج محركات البحث و هذا بسبب إنها مرتبطة بصفحات أخري تم فهرستها .

مهاب البوشي

مهاب البوشي

مهاب البوشي ، مؤسس شركة ترويج 'Trweeg.Com' و مسئول السيو و التسويق في ورشة لونك و مدير اكاديمية ورشة لونك التعليمية .

اضف تعليق