Як оптимізувати файл WordPress Robots.txt для SEO

Ви оптимізували свій файл WordPress Robots.txt для SEO? Якщо ви цього не зробили, ви ігноруєте важливий аспект SEO. Файл Robots.txt відіграє значну роль у SEO на вашому сайті. Вам пощастило, що WordPress автоматично створює файл Robots.txt для вас. Наявність цього файлу становить половину битви. Необхідно переконатися, що файл Robots.txt оптимізований для отримання повних переваг.

Файл Robots.txt повідомляє пошуковим роботам, які сторінки сканувати та які сторінки слід уникати. У цьому пості я покажу вам, як редагувати та оптимізувати файл Robots.txt в WordPress.

Як оптимізувати файл WordPress Robots.txt для SEO?

Що таке файл Robots.txt?

Почнемо з основного. Файл Robots.txt є текстовим файлом, який вказує ботам пошукової системи сканувати та індексувати сайт. Коли будь-який робот пошукової системи приходить на ваш сайт, він читає файл robots.txt і дотримується інструкцій. Використовуючи цей файл, ви можете вказати ботів, яку частину вашого сайту потрібно сканувати і яку частину слід уникати. Проте відсутність файлу robots.txt не перешкоджатиме роботам пошукових систем сканувати та індексувати ваш сайт.

Редагування & Розуміння Robots.txt в WordPress

Я вже говорив, що кожен сайт WordPress має файл robots.txt за замовчуванням в кореневому каталозі. Ви можете перевірити файл robots.txt, перейшовши на сторінку http://yourdomain.com/robots.txt. Наприклад, ви можете перевірити наш файл robots.txt звідси: https://roadtoblogging.com/robots.txt

Якщо у вас немає файлу robots.txt, його потрібно створити. Це дуже легко зробити. Просто створіть текстовий файл на комп'ютері та збережіть його як файл robots.txt і завантажте його до кореневого каталогу. Ви можете завантажити його за допомогою Менеджер FTP або cPanel Файловий менеджер .

Тепер подивимося, як редагувати файл robots.txt.

Файл robots.txt можна редагувати за допомогою FTP-менеджера або менеджера файлів cPanel. Але це багато часу і трохи важко.

Найкращим способом редагування файлу Robots.txt є плагін. Існує кілька модулів WordPress robots.txt. я віддаю перевагу Yoast SEO . Це кращий SEO плагін для WordPress. Я вже поділився як налаштувати Yoast SEO .

Yoast SEO дозволяє змінювати файл robots.txt з адміністративної області WordPress. Однак, якщо ви не хочете використовувати плагін Yoast, ви можете використовувати інші плагіни WP Роботи Txt .

Одного разу ви встановлено і активований плагін Yoast SEO, перейдіть до WordPress Admin Panel> SEO> Tools.

Як оптимізувати файл WordPress Robots.txt для SEO

Потім натисніть кнопку "Редактор файлів".

yOast Плагін SEO

Потім потрібно натиснути кнопку "Створити файл robots.txt".

Редагувати файл robots.txt

Потім ви отримаєте редактор файлів Robots.txt. Тут ви можете налаштувати файл robots.txt.

Файли

Перед редагуванням файлу потрібно зрозуміти команди цього файлу. В основному є три команди.

• User-agent - визначає назву роботів пошукової системи, такі як Googlebot або Bingbot. Ви можете використовувати зірочку (*) для позначення всіх роботів пошукової системи.
• Заборонити - Дозволяє пошуковим системам не сканувати та індексувати деякі частини вашого сайту.
• Дозволити - дає змогу пошуковим системам сканувати та індексувати, які частини потрібно індексувати.

Ось приклад файлу Robots.txt.

User-agent: * Disallow: / wp-admin / Дозволити: /

Цей файл robots.txt наказує всім роботам пошукової системи сканувати сайт. У 2-му рядку він повідомляє роботам пошукової системи не виконувати сканування / wp-admin / part. У 3-й лінії він інструктує пошукових роботів для сканування та індексування всього веб-сайту.

Налаштування та оптимізація файлу Robots.txt для SEO

Просте неправильне налаштування в файлі Robots.txt може повністю деіндекс вашого сайту від пошукових систем. Наприклад, якщо ви використовуєте команду "Disallow: /" у файлі Robots.txt, ваш сайт буде деіндексировано з пошукових систем. Таким чином, ви повинні бути обережні при налаштуванні.

Ще одна важлива річ - оптимізація файлу Robots.txt для SEO. Перш ніж перейти до кращих практик роботи з Robots.txt SEO, я хотів би попередити вас про деякі погані практики.

• Не використовуйте файл Robots.txt, щоб приховати вміст низької якості. Найкращою практикою є використання метатегів noindex та nofollow. Ви можете зробити це за допомогою плагіна Yoast SEO.
• Не використовуйте файл Robots.txt, щоб зупинити пошукові системи для індексування ваших категорій, тегів, архівів, сторінок авторів і т.д. Ви можете додати мета-теги nofollow і noindex до цих сторінок за допомогою плагіна Yoast SEO.
• Не використовуйте файл Robots.txt для обробки дублікатів вмісту. Є й інші способи.

Тепер давайте подивимося, як ви можете зробити файл SEO Robots.txt дружнім.

1. Спочатку потрібно визначити, які частини вашого сайту ви не хочете сканувати пошукові системи. Я віддаю перевагу забороні / wp-admin /, / wp-content / plugins /, /readme.html, / trackback /.
2. Додавання похідних “Allow: /” на файл Robots.txt не є настільки важливим, оскільки боти все одно скануватимуть ваш сайт. Але ви можете використовувати його для конкретного бота.
3. Додавання файлів Sitemap до файлу Robots.txt також є гарною практикою. Читати: Як створити Sitemap

Ось приклад ідеального файлу Robots.txt для WordPress.

Агент користувача: * Disallow: / wp-admin / Disallow: / wp-content / plugins / Disallow: /readme.html Заборонити: / trackback / Disallow: / go / Allow: /wp-admin/admin-ajax.php Дозволити : / wp-content / uploads / Sitemap: https://roadtoblogging.com/post-sitemap.xml Карта сайту: https://roadtoblogging.com/page-sitemap.xml

Ви можете перевірити файл RTB Robots.txt тут: https://roadtoblogging.com/robots.txt

Тестування файлу Robots.txt у Google Webmaster Tools

Після оновлення файлу Robots.txt потрібно перевірити файл Robots.txt, щоб перевірити, чи впливає на нього будь-який вміст.

Можна використовувати Консоль пошуку Google щоб перевірити, чи існує "Помилка" або "Попередження" для вашого файлу Robots.txt. Просто увійдіть до консолі пошуку Google і виберіть сайт. Потім перейдіть до Crawl> robots.txt Tester і натисніть кнопку "Відправити".

Консоль пошуку Google

Буде виставлено вікно. Просто натисніть кнопку "Надіслати".

Файл оновлення Google

Потім перезавантажте сторінку та перевірте, чи файл оновлено. Оновлення файлу Robots.txt може зайняти деякий час.

Якщо він ще не оновлюється, ви можете ввести код файлу Robots.txt у вікно, щоб перевірити, чи є помилки або попередження. Він покаже там помилки та попередження.

Код файлу Robots.txt

Якщо ви помітили помилки або попередження в файлі robots.txt, ви повинні виправити це, відредагувавши файл robots.txt.

Заключні думки

Я сподіваюся, що ця стаття допомогла вам оптимізувати ваш файл WordPress robots.txt. Якщо у вас є плутанина, не соромтеся запитувати нас через коментарі.

Однак, якщо ви хочете, щоб ваш блог WordPress SEO дружніх, ви можете прочитати наш пост на Як налаштувати WordPress Yoast SEO плагін .

Якщо ви вважаєте цю публікацію корисною, будь ласка, допоможіть мені, поділившись цією публікацією у Facebook, Twitter або Google+.