مولّد robots.txt وخريطة الموقع

يخبر الزواحف أي أجزاء من الموقع لا ينبغي أن تطلبها. وتتبعه محركات بحث مثل جوجل. وهو طلب لا قفل، فلا يستطيع إبقاء صفحة خاصة.

تفوز القاعدة المطابقة الأطول، لأنها الأكثر تحديداً. وإن تطابقت قاعدة سماح وقاعدة منع بالطول نفسه فيفوز السماح. ويُظهر مربع الاختبار القاعدة التي حسمت.

هذا قرارك. تسرد القاعدة الجاهزة أسماء زواحف تنشرها شركاتها لهذا الغرض، وتتبعها الملتزمة منها. ولن توقف زاحفاً يتجاهل robots.txt.

المواقع الصغيرة المترابطة جيداً تُكتشف عادةً من غيرها. وتساعد خريطة الموقع محركات البحث على إيجاد الصفحات في المواقع الكبيرة والجديدة والتي فيها صفحات يصعب الوصول إليها بالروابط.

لا. تُبنى الملفات في متصفحك ولا يُرسل ما تكتبه إلى أي مكان.