العيد ال 20 لملف مانع محركات البحث Robots.txt

اليوم 30 june هو الذكرى السنوية ال 20 لملف التوجيه robots.txt والذي كان متوفرا لمشرفي المواقع لمنع محركات البحث من الزحف الى صفاحات مواقعهم. قام بانشاء ملف robots.txt مارتن كوستر في عام 1994 بينما كان يعمل في Nexor بعد وجود مشاكل في الزحف لموقعه . جميع محركات البحث الرئيسية في ذلك الوقت، بما في ذلك يبكرولر، لايكوس والتافيستا، سرعان ما اعتمد هذا الملف .وحتى بعد 20 عاما، لا تزال جميع محركات البحث الرئيسية تقدم لها الدعم و تستخدمها.

نشر بريان يوسري على مدونته حول الذكرى ال 20 و وثقت الأخطاء الأكثر شيوعا في ملف robots.txt حيث ان هذه الاخطاء إذا ما نفذت يمكن أن تكون ضارة بشدة على الترتيب الخاص بك ونجاح البحث والتسويق.

مترجم عن المصدر