Файл robots.txt для WordPress - плагін для редагування файлу

1. Приклад файлу robots.txt
2. Як додати файл robots.txt в WordPress

Зробити правильний файл robots.txt для WordPress дуже важливо. Завдяки йому пошуковики будуть знати - що можна і що не можна індексувати. Тобто в пошуковій видачі буде тільки те, що потрібно, без дублів сторінок і нутрощів WordPress.

Приклад файлу robots.txt

User-Agent: * Disallow: / cgi-bin Disallow: / wp- Disallow: /? S = Disallow: * & s = Disallow: / search Disallow: / author / Disallow: *? Attachment_id = Disallow: * / feed Disallow: * / rss Disallow: * / embed Allow: / wp-content / uploads / Allow: / wp-content / themes / Allow: /*/*.js Allow: /*/*.css Allow: /wp-*.png Allow : /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-*.svg Allow: /wp-*.pdf Sitemap: https://site.ru/sitemap_index .xml

Раніше для Яндекса необхідна було директива Host, яка позначала головне дзеркало сайту. Тепер в ній немає потреби, для визначення головного дзеркала сайту використовується 301 редирект .

Як додати файл robots.txt в WordPress

Можна завантажити наш плагін Robots.txt Editor:

Або додати в файл functions.php наступний код:

add_filter ( 'robots_txt', 'add_robotstxt'); function add_robotstxt ($ text) {$ site_url = get_site_url (); $ Text. = "User-Agent: * Disallow: / cgi-bin Disallow: / wp- Disallow: /? S = Disallow: * & s = Disallow: / search Disallow: / author / Disallow: *? Attachment_id = Disallow: * / feed Disallow: * / rss Disallow: * / embed Allow: / wp-content / uploads / Allow: / wp-content / themes / Allow: /*/*.js Allow: /*/*.css Allow: / wp - *. png Allow: /wp-*.jpg Allow: /wp-*.jpeg Allow: /wp-*.gif Allow: /wp-*.svg Allow: /wp-*.pdf Sitemap: $ site_url / sitemap_index .xml "; return $ text; }

Даний спосіб працює і в мультісайтового версії WordPress. Для кожного сайту мережі буде відображатися правильний Sitemap. Sitemap буде таким, якщо використовується плагін Yoast SEO.

Файл robots.txt не є гарантією, що закриті в ньому сторінки не будуть проіндексовані, тому дублі контенту потрібно додатково приховати за допомогою 301 редіректу в файлі .htaccess:

# BEGIN WordPress <IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteCond% {QUERY_STRING} ^ replytocom = [NC] RewriteRule (. *) $ 1? [R = 301, L] RewriteRule ^ feed $ / $ 1 [R = 301, L] RewriteRule (. *) / Feed $ / $ 1 [R = 301, L] RewriteRule (. +) / Comment-page / $ 1 [R = 301, L] RewriteRule (. +) / trackback / $ 1 [R = 301, L] RewriteRule (. +) / comments / $ 1 [R = 301, L] RewriteRule (. +) / attachment / $ 1 [R = 301 , L] RewriteCond% {QUERY_STRING} ^ attachment_id = [NC] RewriteRule (. *) $ 1? [R = 301, L] RewriteRule ^ index \ .php $ - [L] RewriteCond% {REQUEST_FILENAME}! -F RewriteCond% {REQUEST_FILENAME}! -D RewriteRule. /index.php [L] </ IfModule> # END WordPress

Завдяки плагіну Yoast SEO файл .htaccess можна відредагувати з адмінки WordPress (пункт меню плагіна "Інструменти" -> "Редактор файлів").

Вам допомогла ця стаття? Оцініть!