Дублі сторінок в Joomla - причини, помилки і рішення

1. Так як же пошукові системи знаходять дублі сторінок?
2. Навіщо потрібно позбавлятися від дублів сторінок?
3. 5 шляхів позбавлення від дублів сторінок
4. 1. Robots.txt для Joomla
5. 2. Redirect 301
6. 3. Мета-тег Robots
7. 4. Видаляємо URL з панелі Вебмастера
8. 5. Тег X-Robots-Tag
9. висновок

Отже, дублі - це ідентичні документи на вашому сайті, які доступні через різні URL. Насправді дублі сторінок є слабким місцем будь-якої CMS, не тільки Joomla. Всі ці сторінки нешкідливі, поки не будуть проіндексовані пошуковою системою. Найголовніше, стежити за індексацією і відразу ж вживати дії з видалення таких сторінок з результатів пошуку, але ще краще заздалегідь продумати структуру сайту і таким чином уникнути таких ситуацій.

Найголовнішою причиною появи дублів є невірна структура веб-сайту. Перш за все, вам необхідно продумати ієрархію категорій і пунктів меню. Якщо ви створюєте кілька категорій заздалегідь, то це допоможе уникнути дублів сторінок в майбутньому.

Давайте подивимося на найпоширеніші помилки. Припустимо, у вас є категорія "News" і у неї є кілька підкатегорій - "Politics", "Economy", і т.д., і всі матеріали ви прив'язуєте до дочірнім категоріям. Якщо ви створите пункти меню тільки для підкатегорій, наприклад "Politics", то посилання (дл матеріалів) можуть бути такими:

https://website.com/politics/23-material https://website.com/1-news/politics/23-material https://website.com/1-news/2-politics/23-material https : //website.com/index.php? option = com_content & task = view & id = 23 & Itemid = 1

І так далі і тому подібне - у вас з'являться різні можливості формування url, і всі вони будуть просто копіями однієї сторінки. Це приклад того, як це не повинно бути. Крім того, пошукові системи можуть індексувати технічні копії, які доступні через посилання "Print", "PDF", "Send to afriend".

Ви повинні продумати структуру і визначити головні категорії і підкатегорії вже на старті створення вашого веб-сайту. З ростом вашого ресурсу немає необхідності в зміні існуючої структури, просто додайте додаткові розділи. Реструктуризація вашого сайту на піку розробки буде просто провалом. До того ж, деякі сторінки (а в найгіршому випадку все) змінять свої адреси, що призведе до серйозної втрати позицій в результатах пошуку і відвідувань.

Так як же пошукові системи знаходять дублі сторінок?

Найпоширеніша причина - це розширення, які встановлюються на веб-сайти Joomla. Приклад - новинний модуль на головній сторінці може видати різні адреси. Іноді такі дублі сторінок видно навіть в карті сайту, наприклад, якщо у вас встановлений компонент Xmap.

Якщо ваш сайт вже проіндексований, то не так складно знайти дубльований контент, просто скопіюйте кілька унікальних текстів зі сторінки і вставте цей матеріал (в лапках) в пошук Google. Якщо сайт не проіндексовані, то ви можете спробувати XENU (В разі, якщо ваш сайт не дуже великий).

Навіщо потрібно позбавлятися від дублів сторінок?

Пошуковим системам не подобається, і вони не намагаються проіндексувати веб-сайти з великою кількістю ідентичних сторінок, так як їх необхідність в пошуку стає під питанням. При оптимізації сторінок під певні ключові слова вибираються найбільш релевантні сторінки, і контент оптимізується для них. Якщо такі сторінки мають дублі, то під час оновлення пошукові системи можуть замінити релевантні сторінки їх дублями (це супроводжується різким падінням в позиціях і зниженням трафіку).

5 шляхів позбавлення від дублів сторінок

Кожен суб'єкт (веб-сайт) унікальний, давайте розглянемо найбільш популярні методи, які спрацьовують в 99% випадків. Виберіть один з цих способів або використовуйте їх в комплексі. В общем-то, ці рішення можуть бути застосовані до будь-якої іншої CMS.

Всі ці приклади валідність, якщо ви включили стандартний SEF і перенаправлення сторінок в загальних налаштуваннях.

1. Robots.txt для Joomla

Цей файл включений в стандартний пакет Joomla, розташований в кореневій директорії і доступний за адресою yourwebsite.com/robots.txt. Він показує пошуковим системам, як індексувати ваш веб-сайт. З його допомогою ви можете закрити певні частини вашого сайту. Додатково ви можете використовувати наступну інструкцію для даних за замовчуванням:

Disallow: / *? # Будь-яке посилання, що містить цей знак, що не буде проіндексована *

Всього лише один рядок врятувала вас від збереження такого сміття, як:

• сторінки для друку;
• посилання на rss стрічки;
• сторінка результатів пошуку по сайту;
• також закриє посторінкову навігацію;
• а також багато інших варіанти, в залежності від використовуваних розширень.

Використовувати цей рядок чи ні, вирішувати вам, але завжди пам'ятайте, що занадто великий файл robots вважається повністю рарешающім. Зверніть увагу на те, що цей рядок не повинна перекривати щось важливе, типу карти сайту, тому ви можете просто додати рядок Allow: / sitemap.

2. Redirect 301

Redirect 301 підходить для випадків, коли ви поміняли адреси, а документи все ще існують. В цьому випадку для правильної прив'язки вам необхідно використовувати redirect 301 в файлі .htaccess. Таким чином пошукові системи зрозуміють, що документ переміщений за новою адресою. Цей метод дозволяє зберегти як відвідуваність, так і PR.

301 redirect може також використовуватися для склеювання дублів сторінок. Наприклад, широко використовувані дублі головної сторінки на Joomla сайтах: /index.php і алиас меню Home, наприклад / home або / homepage. Вони можуть бути досить просто склеєні - відкрийте ваш файл .htaccess і введіть:

Redirect 301 /index.php http://site.com/

... або ви також можете зробити redirect 301 в index.php файлі вашого шаблону:

<? Php if ($ _SERVER [ 'REQUEST_URI'] == '/index.php') {header ( "Location: /", TRUE, 301); exit (); }?>

Ось класичний приклад url c і без www:

RewriteEngine On RewriteCond% {HTTP_HOST} ^ www.example.com $ [NC] RewriteRule ^ (. *) $ Http://example.com/$1 [R = 301, L]

тут ви зможете знайти разліних варіанти використання redirect 301.

3. Мета-тег Robots

Ще один з варіантів запобігання індексування дублів сторінок - використовувати мета тег robots:

<Meta name = "robots" content = "noindex" />

На даний момент ця опція набагато краще для Google, ніж використання інструкцій у файлі robots.txt. Наприклад, для закриття сторінок результатів пошуку вам необхідно додати в <head> </ head> наступний код:

<? Php $ option = JFactory :: getApplication () -> input-> getCmd ( 'option', ''); if ($ option == 'com_search'):?&gt; <meta name = "robots" content = "noindex" /> <? php endif; ?>

4. Видаляємо URL з панелі Вебмастера

Ще один шлях по позбавленню від дублів - це видаляти їх вручну з панелі вебмастера, для Google:

https://www.google.com/webmasters/tools/home?hl=ru

5. Тег X-Robots-Tag

Google рекомендує використовувати тег X-Robots-Tag в якості альтернативи четвертого методу.

HTTP / 1.1 200 OK Date: Tue, 25 May 2010 21:42:43 GMT ... X-Robots-Tag: noindex ...

висновок

Як ви бачите, існує безліч шляхів щодо усунення дублів. Вивчіть їх і виберіть для себе найбільш підходящий. Також відвідайте дбав Пошукова оптимізація, просування сайтів на Joomla (SEO) на joomlaforum.ru - там ви знайдете багато корисної інформації на цю тему.