Файл robots.txt для WordPress - убудова для рэдагавання файла

1. Прыклад файла robots.txt
2. Як дадаць файл robots.txt ў WordPress

Зрабіць правільны файл robots.txt для WordPress вельмі важна. Дзякуючы яму пашукавікі будуць ведаць - што можна і што нельга індэксаваць. Гэта значыць, у пошукавай выдачы будзе толькі тое, што трэба, без дубляў старонак і вантроб WordPress.

Прыклад файла robots.txt

User-Agent: * Disallow: / cgi-bin Disallow: / wp- Disallow: /? S = Disallow: * & s = Disallow: / search Disallow: / author / Disallow: *? Attachment_id = Disallow: * / feed Disallow: * / rss Disallow: * / embed Allow: / wp-content / uploads / Allow: / wp-content / themes / Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow : /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-*.svg Allow: /wp-*.pdf Sitemap: https://site.ru/sitemap_index .xml

Раней для Яндэкса неабходная было дырэктыва Host, якая пазначала галоўнае люстэрка сайта. Цяпер у ёй няма патрэбы, для вызначэння галоўнага люстэрка сайта выкарыстоўваецца 301 рэдырэкт .

Як дадаць файл robots.txt ў WordPress

Можна спампаваць наш убудова Robots.txt Editor:

Альбо дадаць у файл functions.php наступны код:

add_filter ( 'robots_txt', 'add_robotstxt'); function add_robotstxt ($ text) {$ site_url = get_site_url (); $ Text. = "User-Agent: * Disallow: / cgi-bin Disallow: / wp- Disallow: /? S = Disallow: * & s = Disallow: / search Disallow: / author / Disallow: *? Attachment_id = Disallow: * / feed Disallow: * / rss Disallow: * / embed Allow: / wp-content / uploads / Allow: / wp-content / themes / Allow: /*/*.js Allow: /*/*.css Allow: / wp - *. png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-*.svg Allow: /wp-*.pdf Sitemap: $ site_url / sitemap_index .xml "; return $ text; }

Дадзены спосаб працуе і ў мультисайтовой версіі WordPress. Для кожнага сайта сеткі будзе адлюстроўвацца правільны Sitemap. Sitemap будзе такім, калі выкарыстоўваецца убудова Yoast SEO.

Файл robots.txt не з'яўляецца гарантыяй, што зачыненыя ў ім старонкі не будуць праіндэксаваныя, таму дублі кантэнту трэба дадаткова схаваць з дапамогай 301 рэдырэкту ў файле .htaccess:

# BEGIN WordPress <IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteCond% {QUERY_STRING} ^ replytocom = [NC] RewriteRule (. *) $ 1? [R = 301, L] RewriteRule ^ feed $ / $ 1 [R = 301, L] RewriteRule (. *) / Feed $ / $ 1 [R = 301, L] RewriteRule (. +) / Comment-page / $ 1 [R = 301, L] RewriteRule (. +) / trackback / $ 1 [R = 301, L] RewriteRule (. +) / comments / $ 1 [R = 301, L] RewriteRule (. +) / attachment / $ 1 [R = 301 , L] RewriteCond% {QUERY_STRING} ^ attachment_id = [NC] RewriteRule (. *) $ 1? [R = 301, L] RewriteRule ^ index \ .php $ - [L] RewriteCond% {REQUEST_FILENAME}! -F RewriteCond% {REQUEST_FILENAME}! -D RewriteRule. /index.php [L] </ IfModule> # END WordPress

Дзякуючы плягіну Yoast SEO файл .htaccess можна адрэдагаваць з адмінку WordPress (пункт меню плагіна "Інструменты" -> "Рэдактар ​​файлаў").

Вам дапамагла гэтая артыкул? Ацэніце!