Использование Robots.txt для того, чтобы разрешить или запретить все
Файл robots.txt - обычный текстовый документ, который дает поисковым роботам рекомендации: какие страницы/файлы стоит