لا تخفى علينا أهمية هذا الملف robots.txt أو الروبوتس والبعض يسميه ريبوتس والمهم..

هذا الملف من المعروف بأنه من أهم الملفات التي تمنع أرشفة الأشياء الغير مفيدة..
فأنت مثلا حين لا تملك هذا الملف فسيتم أرشفة كامل الموقع متل عوضيات الأعضاء..
والتقويم وغيرها الكثير الغير مفيد ابدا..

مثال على الملف


فقط قم برفع الملف إلى رئيسية الموقع وليس رئيسية المنتدى.

الفكرة مقتبسة من ملف روبوتس ترايدنت بالإضافة لبعض التعديلات
وهذا مثال لملف روبوتس ترايدنت http://traidnt.net/robots.txt


الملف بالمرفقات فقط كم بتحميله ورفعه إلى رئيسية موقعك