robots.txt говорит поисковикам, куда ходить можно, а куда не стоит. Файл читают краулеры — роботы Яндекса и Google. Для WordPress я закрываю админку и мусорные URL, оставляю стили со скриптами и указываю свой sitemap.xml.
Ниже шаблон. Можно копировать целиком; в строке Sitemap подставьте свой домен.
Шаблон robots.txt
User-agent: *
Allow: /
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-login.php
Disallow: /xmlrpc.php
Disallow: /readme.html
Disallow: /?s=
Disallow: /*?s=
Disallow: /search/
Disallow: /*?replytocom=
Disallow: /*?preview=
Disallow: /*&preview=
Disallow: /feed/
Disallow: /comments/feed/
Disallow: /*/feed/
Disallow: /embed/
Disallow: /trackback/
Disallow: /author/
Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&utm_referrer&yclid
Sitemap: https://вашсайт.ru/sitemap.xmlЧто закрыто и что открыто
| Строка | Зачем |
|---|---|
| User-agent: * Allow: / |
Правила для всех роботов. Сайт открыт, кроме того, что ниже запрещено. Отдельные блоки под Google или Яндекс не пложу — одни и те же запреты. |
| Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php |
Админку закрываю. Ajax оставляю: формы и подгрузка кусков страницы ходят через этот файл. Конкретный Allow сильнее, чем Disallow на папку. |
| wp-login.php, xmlrpc.php, readme.html | Страница входа, старый xmlrpc и типовой readme из поставки. В выдаче им делать нечего. Это не защита от взлома — только чтобы робот не тащил служебное в индекс. |
| Стили, скрипты, /wp-content/, /wp-includes/ | Намеренно не закрываю. Роботу нужны CSS и JS темы и плагинов, иначе страница в индексе «голая». Disallow: /wp-content/ целиком — плохой совет. Закрыть /wp-includes/ и потом точечно Allow на *.js — тоже вожусь зря: Яндекс и Google по-разному читают такие маски. |
| поиск, preview, feed, embed, trackback, author | Мусор и дубли: выдача поиска, черновик по ссылке «превью», RSS, встраивания, trackback, архив автора. Сами статьи открыты — у них свои адреса. Пагинацию /page/ не закрываю: со второй страницы блога робот тоже должен пройти. |
| Clean-param: utm_…&yclid | Подсказка Яндексу: utm-метки и yclid не делают новую страницу. Google эту строку игнорирует — ему всё равно. Host: и Crawl-delay не ставлю: первое устарело, второе только тормозит обход. |
| Sitemap: https://вашсайт.ru/sitemap.xml | Где лежит карта. На чужом сайте подставьте свой домен — остальное копируется как есть. Карта не заменяет robots.txt: файл говорит, куда не ходить, карта — какие страницы есть. |
Это не noindex.
robots.txt не заменяет мета-тег robots. Закрытая здесь страница всё равно может попасть в индекс по ссылкам.
Комментарии
Пока нет комментариев — можете написать первый.