السلام عليكم ورحمه الله وبركاته

ما هو ملف robots.txt؟
هو ملف يقوم بإعطاء توجيهات لعناكب (robots) بصفة عامة بما يمكنهم الدخول إليه و ما لا يمكنهم الدخول إليه وبالتالي تقوم بارشفة محتوى هده المواقع في ارشيفها ومن بين هده العناكب هناك GoogleBot و Googlebot-Image و Googlebot-Mobile كل هده عناكب بحث تابعة لشركة جوجل وقبل ان تدخل عناكب جوجل الى صفحات موقعك تدخل اولا الى ملف Robots.txt لمعرفة الملفات والصفحات المسموح للعناكب بارشفتها والصفحات الممنوع على العناكب زيارتها وارشفتها . الان السوال ماهى الاشياء الواجب علينا منع عناكب الروبتس الخاصه بجوجل لعدم البحث بداخلها
1 - صفحة تسجيل الدخولللاعضاء
2 - صفحة التسجيلللزوار
3 - اقسام الارشيف
4- اقسام الادارة
4- صفحات اخرى لاتريد ارشفتها

[PHP]Sitemap: https://www.a7-lil.com/vb/maps.php

User-agent: *
Disallow: /admincp/
Disallow: /modcp/
Disallow: /attachments/
Disallow: /images/
Disallow: /members/
Disallow: /search/
Disallow: /new-content/
Disallow: /auth/
Disallow: /register
Disallow: /uploader/url
Disallow: /project.php
Disallow: /projectsearch.php
Disallow: /bugs.php

User-agent: BaiDuSpider
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: CCBot
Disallow: / [/PHP]