Существует несколько типов директив, которые сообщают поисковым роботам, какие страницы они могут сканировать. Наиболее часто упоминаемыми являются файл robots.txt и тег meta robots. Файл robots.txt говорит поисковым системам сканировать определенную часть вашего сайта, будь то страница, подпапка и т.д. Это помогает оптимизировать сканирование, сообщая роботам, какие части сайта являются недостаточно важными, чтобы быть в приоритете … Читать далее X-Robots-Tag в HTTP заголовках: всё, что вам нужно знать