Как написать файл robots.txt для Яндекса

Файл robots.txt управляет индексацией сайта поисковыми системами.

То есть при входе на сайт робот практически любой поисковой системы сперва пытается искать файл robots.txtдля того, чтобы узнать какие файлы или директории запрещены к индексации, а какие разрешены. Кроме того, роботы получают и другие сведения: наличие и местонахождение карты сайта в формате xml, наличие главного зеркала сайта.

Составляем robots.txt для Яндекса.

User-agent Яндекса так и называется Yandex, поэтому первая строка файла robots.txt будет выглядеть так:

User-agent: Yandex

Далее определяем какие файлы или директории разрешить индексировать Яндексу, а какие необходимо запретить.

Применяем директивы Disallow и Allow.

Disallow — запрещает индексацию
Allow — разрешает индексацию

Например:

— разрешает индексировать всё

User-agent: Yandex Disallow:

— запрещает индексировать всё

User-agent: Yandex Disallow: /

— запрещает индексировать директорию админки (admin) и страницы новостей (news.php)

User-agent: Yandex Disallow: /admin/ Disallow: /news

Определяем главное зеркало сайта, используя директиву Host.

В ней указывает только имя хоста без http://, а также слеша. Не используют IP в Host.

Например:

Host: www.seomastertop.ru

Полный пример файла robots.txt для Яндекса

User-agent: Yandex Disallow: /admin/ Disallow: /news Host: www.seomastertop.ru

Более полные сведения по применению файла robots.txt для Яндекса можно прочитать на страницах помощи Яндекса (читаем).

Рекомендации:

1. При использовании рекомендаций для Яндекса лучше создавать отдельную секцию в файле robots.txt, которая идёт впереди общей секции (User-agent: *).

2. Между секциями необходимо наличие обязательной пустой строки.

Например:

User-agent: Yandex Disallow: /admin/ Disallow: /news Host: www.seomastertop.ru

User-agent: * Disallow:

Оставьте комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Call Now Button