ملف robots.txt لمنتديات

ملف robots.txt لمنتديات

السلام عليكم ورحمه الله وبركاته

ما هو ملف robots.txt؟
هو ملف يقوم بإعطاء توجيهات لعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه وبالتالي تقوم بارشفة محتوى هده المواقع في ارشيفها ومن بين هده العناكب هناك GoogleBot و Googlebot-Image و Googlebot-Mobile كل هده عناكب بحث تابعة لشركة جوجل وقبل ان تدخل عناكب جوجل الى صفحات موقعك تدخل اولا الى ملف robots.txt لمعرفة الملفات والصفحات المسموح للعناكب بارشفتها والصفحات الممنوع على العناكب زيارتها وارشفتها . الان السوال ماهى الاشياء الواجب علينا منع عناكب الروبتس الخاصه بجوجل لعدم البحث بداخلها
1 - صفحة تسجيل الدخولللاعضاء
2 - صفحة التسجيلللزوار
3 - اقسام الارشيف
4- اقسام الادارة
4- صفحات اخرى لاتريد ارشفتها

[PHP]Sitemap: https://www.a7-lil.com/vb/maps.php

User-agent: *
Disallow: /admincp/
Disallow: /modcp/
Disallow: /attachments/
Disallow: /images/
Disallow: /members/
Disallow: /search/
Disallow: /new-content/
Disallow: /auth/
Disallow: /register
Disallow: /uploader/url
Disallow: /project.php
Disallow: /projectsearch.php
Disallow: /bugs.php

User-agent: BaiDuSpider
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: / [/PHP]

</div>

حـُـلم ,الحر ,احساس عاشق و 1 آخرون معجبون بهذا

غَيْم..!

المصدر: منتديات أحاسيس الليل - من قسم: تطوير المواقع والمنتديات والمدونات

---

lgt robots>txt glkj]dhj