Правильний файл Robots.txt для Wordpress (Яндекс, Google)

1. Robots.txt - що це таке?
2. Навіщо він потрібен?
3. Де знаходиться?
4. Robots txt для WordPress
5. Приклад Robots.txt: disallow і allow, host і sitemap
6. Disallow
7. Allow
8. Прописуємо Host і карту сайту
9. Перевірка Robots.txt Яндексом і Google
10. резюме

Зміст статті:

Доброго дня! Після того як ми розібралися з правильною структурою сайту настав час поговорити про robots.txt, що це таке і з чим його їдять. Крім того, з цієї статті ви дізнаєтеся, яким він, ідеально правильний robots.txt для WordPress, як з його допомогою заборонити індексацію сайту або дозволити все.

Robots.txt - що це таке?

Файл robots.txt - це файл, за допомогою якого можна виставити заборону на індексацію будь-яких частин сайту або блогу пошуковим роботом.

Створюється єдиний стандартний robots txt для Яндекса і для Google, просто спочатку прописуються заборони для однієї пошукової мережі, а потім для іншої. В принципі в ньому можна прописати параметри для всіх пошукових систем, проте, часто не має сенсу це робити, тому що конкретно для Росії основними вважають Яндекс і Гугл, з інших пошукових систем трафік настільки малий, що заради них немає необхідності прописувати окремі заборони та дозволу.

Навіщо він потрібен?

Якщо ви сумніваєтеся чи потрібен robots txt взагалі, то відповідь однозначна - ТАК. Даний файл показує пошуковим системам куди їм ходити потрібно, а куди ні. Таким чином, за допомогою «Роботс» можна маніпулювати пошуковими системами і не давати індексувати ті документи, які ви б хотіли залишити в таємниці.

Важливо! До файлу robots txt Яндекс відноситься, так би мовити, з повагою, він завжди враховує всі нововведення і надходить так, як зазначено в файлі. З Google ситуація складніша, найчастіше пошуковий гігант ігнорує заборони від «Роботс», але тим не менш особисто я рекомендую все одно прописувати всі необхідні дані в цей файлик.

Навіщо не пускати пошуковики до якихось файлів або тек?

1. По-перше, деякі директорії (наприклад теги в WordPress або сторінки пагінацію) залишають багато "сміття" у видачі, що негативно позначається на самому сайті.
2. По-друге, можливо ви розмістили неунікальний контент, але дуже потрібно, щоб він був на сайті, за допомогою robots.txt можна не дати пошуковому роботу дістатися до такого документа.

Де знаходиться?

Файл robots.txt розташовується в корені сайту, тобто він завжди доступний за адресою site.ru/robots.txt. Так що якщо ви раніше не знали, як знайти robots txt на сайті, то тепер ви з легкістю зможете подивитися і можливо відредагувати його.

Знаючи, де знаходиться даний файл, ви тепер без зусиль зможете замінити старий і додати новий robots.txt на сайт, якщо в цьому є необхідність.

Robots txt для WordPress

Правильний robots.txt для WordPress ви можете скачати з мого блогу, він розташовується за адресою //vysokoff.ru/robots.txt . Це ідеальний і правильно оформлений «Роботс», ви можете додати його до себе на сайт.

Після того як ви завантажили мій robots.txt для WordPress, в ньому необхідно буде виправити домен на свій, після цього сміливо заливайте файлик до себе на сервер і радійте тому, як з пошукової видачі випадають непотрібні «хвости».

До речі, не лякайтеся, якщо після 1-2 апів Яндекса у вас раптом різко скоротиться кількість сторінок в пошуковій видачі. Це нормально, навіть навпаки - це відмінно, значить ваш robots.txt почав працювати і незабаром ви позбудетеся від непотрібного мотлоху, який раніше висів у SERP'e.

Так що якщо ви не знаєте, як створити robots txt для WordPress самостійно, то рекомендую просто скачати готовий варіант з мого блогу, краще ви навряд чи складете.

Тепер давайте поговоримо про те, як повністю закрити від індексації весь сайт за допомогою даного диво-файлик або навпаки, як вирішити все, використовуючи robots.txt.

Приклад Robots.txt: disallow і allow, host і sitemap

Як було сказано вище, за допомогою robots txt можна як заборонити індексацію сайту, так і дозволити все.

Disallow

Даною командою ви закриєте весь сайт від індексації пошукових систем. Виглядати це буде так:

User-agent: *
Disallow: /

Таким чином, ви повністю закриєте сайт від індексації. Для чого це робити? Ну, наприклад, як я розповідав раніше, в статті про стратегію наповнення нового сайту . Спочатку ви додаєте файл robots.txt в корінь сайту і прописуєте код, який вказаний вище.

Додаєте необхідну кількість статей, а потім, скачавши мій ідеальний robots txt, відкриваєте від індексації тільки необхідні розділи на сайті або блозі.

Щоб в robots txt дозволити все, вам необхідно написати в файлі наступне:

User-agent: *
Disallow:

Тобто прибравши слеш, ми показуємо пошуковим системам, що можна індексувати абсолютно все.

Крім того, якщо вам необхідно закрити якусь конкретну директорію або статтю від індексації, необхідно просто дописувати після слеша шлях до них:

Disallow: /page.htm

Disallow: /dir/page2.htm

Allow

Даний параметр навпаки відкриває для індексації якусь конкретну сторінку з закритою Disallow директорії. приклад:

Disallow: / dir /

Allow: / dir / page2.htm

Прописуємо Host і карту сайту

В кінці файлу robots txt вам необхідно прописати два параметра host і sitemap, робиться це так:

Host: www.site.ru

Sitemap: www.site.ru/sitemap.xml

Host вказується для визначення правильного дзеркала сайту, а друге допомагає роботу дізнатися, де знаходиться карта сайту.

Перевірка Robots.txt Яндексом і Google

Після того як ви зробили правильний robots.txt і розмістили його на сайті, вам необхідно додати і перевірити його в вебмайстрів Яндекса і Гугла, до речі, про те, як додати сайт в вебмастери цих пошукових систем я вже писав .

Щоб перевірити Robots.txt Яндексом необхідно зайти в https://webmaster.yandex.ru/ -> Налаштування індексування -> Аналіз robots.txt.

В Google заходимо http://google.ru/webmasters -> Сканування -> Інструмент перевірки файлу robots.txt

Таким чином ви зможете перевірити свій robots.txt на помилки і внести необхідні корективи, якщо вони є.

резюме

Ну ось, думаю, мені вдалося пояснити вам, що таке robots.txt, для чого він потрібен. Крім того, нагадую, скачати файл robots txt ви можете тут .

Наступного разу я розповім вам про супер-плагін WordPress SEO by Yoast, без якого, я вважаю, не можна починати успішне просування сайту.