Як налаштувати і прискорити постійну індексацію сайту в google і Яндекс

1. Крок №1 - настройка robots.txt для сайту
2. Крок №2 - швидкий і надійний хостинг або сервер, швидкість завантаження сторінок!
3. Крок №3 - динамічні url адреси
4. Крок №4 - зручна навігація по сайту
5. Категорії і рубрикатор на сайті
6. Шляхи пошуку цільової сторінки на сайті
7. Крок №5 - використання текстових посилань замість графічних
8. Крок №6 - Flash, JavaScript і frames
9. Що таке frames?
10. Що таке flash?
11. Що таке javascript?
12. Крок №7 - видалення непрацюючих, битих посилань
13. Як перевірити сайт на биті посилання?
14. Крок №8 - пошук і усунення дублів сторінок, rel = «canonical»
15. Що таке дубльований контент?
16. Як шукати і діагностувати дублюючийся контент?
17. Використання оператора site для пошуку дублів
18. Як боротися з дублюванням контенту?
19. Дублікати створені всередині сайту
20. Крок №9 - валідна верстка HTML і CSS
21. Крок №10 - створення карти сайту
22. Карта сайту для людей:
23. Карта сайту для пошукових систем:
24. Додавання карти сайту в Google
25. Додавання карти сайту в Яндекс

Що таке робота над сайтом і в чому весь процес поліпшення якості і швидкості індексування вашого ресурсу? У попередньому пості я розповів про найбільш ефективні методи швидкої індексації вашого ресурсу, але це скоріше корисно для зовсім нових проектів або як разова допомога. Як бути, коли ваш сайт регулярно наповнюється свіжим контентом і ви не хочете постійно в ручному режимі додавати сторінки в індекс пошукових машин.

Я розповім і покажу, як виконати основні кроки по налаштуванню автоматичної і правильної індексації вашого сайту. Проробивши це ви отримаєте максимальний ефект від відвідування роботів вашого ресурсу і позбудетеся раз і на завжди від ручної роботи.

Крок №1 - настройка robots.txt для сайту

Давайте розберемося, що за документ такий robots.txt і чому він обов'язково повинен бути на вашому сайті. Даний документ є прямою інструкцією для роботів пошукових систем, які приходять на ваш сайт з метою переглянути документи і додати їх у свою базу індексу.

У robots містяться заборонні і дозволяють конструкції для всіх роботів або для якогось конкретного. Наприклад ось такі записи в документі будуть говорити про наступне:

• User-agent: * - даний рядок говорить, що всі наступні правила обов'язкові для всіх роботів
• Allow: /wp-content/themes/*.jpg - дозволені для перегляду все картинки формату .jpg в поточній темі WordPress
• Allow: /wp-content/themes/*.png - дозволені для перегляду все картинки формату .png в поточній темі WordPress
• Disallow: /? - заборонено індексувати всі документи, які містять у собі символ? (Документи пошуку і фільтри)
• Disallow: / *? - заборонено індексувати всі документи, які містять у собі символ? (Документи пошуку і фільтри)
• User-agent: Yandex - цей рядок, говорить, що ці правила тільки для роботів Яндекс

Більш докладно прочитати про документ robots.txt і правильно його налаштувати допоможе довідка Яндекс і довідка Google . Також пам'ятайте цей документ розміщується в кореневій папці www вашого сайту.

При складанні документа robots.txt слід пам'ятати про наступні речі:

• Всі файли вашої теми / шаблону повинні бути відкриті для індексування
• Папка із зображеннями товару або фотографій зі сторінок сайту, також відкрита для роботів
• Сторінки пошуку, фільтрів (якщо вони на Аякс), сторінки пагінацію все це закриваємо
• В кінці вказуємо основне дзеркало сайту і карту сайту (Host: http://seo-book.pro, Sitemap: http://seo-book.pro/sitemap.xml)
• По завершенню перевіряємо документ в валідаторі вебмастер Гугл і Яндекс, якщо все ок радіємо успіху!

Крок №2 - швидкий і надійний хостинг або сервер, швидкість завантаження сторінок!

Роботи пошукових систем воліють високу швидкість обробки і аналізу даних і ненавидять повільні дії і обмеження, які могуд задавати провайдер вашого хостингу.

Кожен візит робота обмежений часом і ресурсами, і якщо ви будете гальмувати або обмежувати його дії на сайті, то іемеете всі шанси втратити інтерес з їхнього боку до вашого сайту. Скажіть вам це потрібно, думаю, що ні! Ваш сайт повинен працювати стабільно 24 години на добу і 7 днів на тиждень, якщо ваш провайдер не може це гарантувати і бувають часті збої і недоступність, прийшов час подумати про більш надійного постачальника послуг!

В наш час, швидкість обробки даних на будь-якому сайті повинна не перевищувати 3-5 секунд, все що вантажиться довше може бути додано в чорний список вашими споживачами. Згідно з останніми дослідженнями, більше половини користувачів інтернету очікують швидкість завантаження до 5 секунд, а потім просто залишають сторінку. Гугл розробив свій сервіс оцінки швидкості і якості завантаження ваших сторінок, рекомендую ознайомитися з ним.

Крок №3 - динамічні url адреси

Досить частою проблемою для різного роду сайтів на основі баз даних є сторінки мають вигляд URL, як цей: www.weddinggift.com/?item=32554, думаю і так зрозуміло, що зрозуміти що-небудь за такою адресою немає можливості.

Проблема в тому, що ні людина ні навіть робот пошукової системи не може сказати, що за продукт або послуга може бути знайдена за поточним URL, хіба тільки після повного відкриття самої сторінки в вікні браузера.

Щоб зрозуміти різницю між динамічними і статичними URL я приведу вам для порівняння два типи:

• seo-book.pro/?p=353&preview=true - це динамічний url і тут не зрозуміло, який контент за посиланням ховається
• seo-book.pro/kak-uskorit-indeksaciyu-sayta/ - а тут відразу зрозуміло, що очікує користувача на сторінці

Сподіваюся ви розумієте різницю між добре і погано в прикладі вище. Але що ж робити, якщо сайт не новий і кілька років у нього структура була на динамічних url? У мене є відповідь на це питання. Вам належить зробити абсолютно нову, правильну і логічну структуру, і всі старі адреси сторінок перенаправити на нову структуру за допомогою 301 редіректу. Якщо у вас немає досвіду і ви не знаєте як виконати дану задачу, зверніться до фахівців, але не варто відкладати на потім.

Крок №4 - зручна навігація по сайту

Надайте собі ситуацію, коли потрапляєте в невідомий раніше місто і вам належить знайти в ньому потрібну адресу, не повідомляючи місцевості і карти для навігації ваші шанси дуже малі для успішного пошуку. Але маючи в руках карту або gps навігатор ви стаєте дуже близькі до успіху.

Коли робот пошукових систем приходить до вас на сайт він індексує головну сторінку вашого ресурсу, і вже по навігації поглиблюється всередину сайту, що ж станеться, якщо цієї навігації немає або вона не логічна, думаю відповідь очевидна.

Категорії і рубрикатор на сайті

Набагато раніше я розбирав тему зі збором семантики і її кластеризації, так ось деякі кластери це вже і є частина вашої майбутньої структури категорій або розділів сайту, в деяких випадках це фільтри товару в інтернет-магазині.

Для прикладу пропоную зупинитися на інтернет-магазині меблів, як ви думаєте, які категорії товарів будуть доречні для даного виду продукції? Я думаю, що приблизно такі:

• М'які меблі
• ліжка
• кухні
• Дитячі меблі
• вітальні
• Комоди, тумби

Ну і в такому роді, я не буду розписувати всі, головне, щоб ви зрозуміли, кожен сайт має потребу в логічній структурі, і чим простіше і зручніше буде ця структура, тим більше шансів ви маєте на зручне користування ресурсу вашими відвідувачами.

Шляхи пошуку цільової сторінки на сайті

Подумайте які шляхи пошуку товару, послуги або чого-небудь ви надаєте користувачеві на вашому ресурсі. Давайте я наведу приклади найбільш часто використовуваних способів навігації для відвідувачів:

1. Навігаційне меню в шапці сайту
2. Додаткове меню у правому або лівому сайдбарі сайту
3. Фільтри для швидкого сортування
4. Поле пошук на сайті
5. Банери і слайдери для спец пропозицій
6. Хлібні крихти на кожній сторінці
7. Карта сайту в html форматі для відвідувачів

При створенні контенту продумуйте інші корисні матеріали та створюйте додаткові посилання між сторінками, підвищуючи їх взаємозв'язок і даючи можливість користувачам отримати максимально корисної інформації на вашому сайті. Також це люблять пошукові машини, правильна структура сайту і зв'язок (перелінковка) ваших документів підвищує авторитет і значимість вашого ресурсу.

Крок №5 - використання текстових посилань замість графічних

Пошуковики ще не навчилися досконально розуміти зображення, які використовуються замість тексту посилання. І потрібно завжди розуміти, що роблячи красиву посилання зображенням ви жертвуєте розумінням з боку пошукових машин, але я не раджу вам це робити. В наш час з розвитком css3 і javascript цілком можливо зробити красиву і зручну навігацію з усіма візуальними ефектами, які тільки прийдуть вам в голову.

Так що намагайтеся уникати посилань на зображеннях і замінити їх звичайними текстовими посиланнями, особливо там, де дизайн сайту це дозволяє. Пам'ятайте роботам набагато простіше зрозуміти і перейти по посиланню в вигляді тексту, ніж за посиланням у вигляді зображення. Також натискаючи на текстове посилання, користувачі підсилюють значимість і вагу сторінки на яку ви посилаєтеся.

Крок №6 - Flash, JavaScript і frames

Давайте розберемося, що такого небезпечного таїться в цих трьох словах Flash, JavaScript, frames. Це ті речі, які можуть зробити дуже яскравий і багатофункціональний дизайн вашої сторінки, але і в той же час завдати відчутної шкоди для пошукових систем від неможливості просканувати контент і посилання, до повільного завантаження все через тих же додаткових скриптів.

Для робота пошукових машин javascript, flash і frames це як покажчики на дорозі, але написані давньогрецькою мовою, вони є, але допомоги від них ніякої.
В даний час тільки Google вміє читати JavaScript, Flash або Frames на вашому сайті і тільки тоді, коли вони відкриті для індексування в robots.txt, що стосується інших пошукових систем, в тому числі і Яндекс, то вони ще далекі від цього. Можливо коли небудь настане час, коли всі вони без зусиль зможуть розпізнавати такі документи та індексувати їх, але поки цей час ще не настав!

Що таке frames?

Кожен новий фрейм - це окремий веб-документ підключається за допомогою спеціальних атрибутів, розміри якого вказує сам розробник. При правильному підключенні, в цьому самому вікні буде показуватися весь вміст іншого документа на зазначеній сторінці.

Використання великої кількості фреймів на сторінці порушує логіку при створенні розуміння роботів про що власне сторінка написана. Для прикладу я візьму такий випадок, припустимо ви зробили сайт з прорахунком пластикових вікон, сам функціонал прорахунку виводиться у фреймі. При аналізі вашого сайту пошуковій системі буде проблемно зрозуміти, що фрейм є частиною цілої екосистеми сайту, відповідно він отримає менший пріоритет перед сайтом, який не використовує фрейм, а має всередині вбудований фільтр.

Що таке flash?

Я думаю ви знаєте що таке флеш, всі візуальні банери містять анімацію і ефект наведення курсору до 2015 року були зроблені на цій технології. і тільки з приходом анімаційних банерів html5 і css3 флеш став відходити на другий план.

Якщо flash використовується в елементах навігації вашого сайту, він завдає дуже багато шкоди вашому сайту. Якщо вам цікаво побачити, як працює сайт на флеш подивіться цей ресурс www.saizenmedia.com/2013/

Ви можете зробити прекрасні ефекти за допомогою технології флеш на вашому сайті, але все це не дасть рівним рахунком нічого для пошукових систем, вони не прочитають ваш текст на сайті і не зрозуміють про що ваші картинки кажуть, хоча Гугл стверджує зворотне, але досвід показує, що в ТОП 30 немає сайтів, які використовують flash, я думаю це серйозний аргумент.

Що таке javascript?

Я думаю зараз в еру процвітання javascript, як мови програмування важко уявити собі сайт який не використовує ці технології. Навіть статичні сторінки (Лендінзі) і ті використовують його для привабливих ефектів і додаткового функціоналу.

Як дізнатися чи використовується скрипт на вашому сайті, досить просто, натискаємо клавіші Ctrl + U і після потрапляння на сторінку з вихідним кодом ще одну комбінацію Ctrl + F, що дозволить викликати поле пошуку по сторінці з вихідним кодом, в це поле вводимо <script і дивимося на результат. Я більш ніж упевнений, що ви знайдете його застосовуваним на своєму сайті, поспішаю вас запевнити це не критично і навіть не погано. Головне, щоб він був застосований там, де дійсно потрібен і по максимуму оптимізований для швидкої роботи сайту.

Дивіться, щоб javascript не використовувалася в елементах навігації сторінки, такі речі не індексуються пошуковими системами, а якщо в цьому є велика необхідність, як скажімо ті ж фільтри по товарах, тоді зробіть другий варіант навігації, який буде текстовий і розрахований на пошукових роботів.

Крок №7 - видалення непрацюючих, битих посилань

Що таке не працюють посилання на вашому сайті? Якщо ви ще не знаєте, я приведу вам приклад: перейдемо за цією адресою http://seo-book.pro/priehali, звичайно ви не отримаєте нічого, тільки повідомлення про те, що сторінка не працює і контент не найден.

Які наслідки принесе вашому сайту відсутність потрібної сторінки? Давайте спробую привести самі жалюгідні наслідки:

• Порушення структури і логіки внутрішньої перелинковки сайту
• Люди будуть потрапляти з пошуку на биту посилання і швидше за все відразу йти з сайту
• Кількість битих посилань впливає на ранжування сайту
• Ви втрачаєте трафік з пошуку, так як деякі запити, за якими була сторінка - пропадуть з видачі

Як перевірити сайт на биті посилання?

Існує величезна кількість, як платних так і безкоштовних сервісів і програм, які перевіряють структуру вашого сайту і показують кількість битих посилань, я використовую наступні:

• ScreamingFrogSEOSpider
• WebSite Auditor
• Searche Console Google

Давайте розповім, як дивитися биті посилання в консоль вебмастер Гугла. Переходимо в консоль і у вкладці «сканування» дивимося «помилки сканировани», там і будуть ваші биті 404 посилання, якщо такі є, терміново прийміть заходи по їх усуненню.

Крок №8 - пошук і усунення дублів сторінок, rel = «canonical»

Процес виявлення і усунення несправностей пов'язаних з дублюванням контенту вельми цікавий і в деякій мірі складний. Іноді для усунення дублікатів доведеться вдаватися до допомоги веб-майстра або програміста, але так чи інакше це потрібно робити, бо дублі це низькосортних вашого сайту і їх не повинно бути зовсім на ресурсі.

Що таке дубльований контент?

Є кілька типів дублювання контенту: повне дублювання сторінок і часткове дублювання окремих ділянок сторінки. Також є ще таке розуміння, як дублювання чужого ресурсу, але це трохи інша розмова і ми про нього поговоримо в інших постах.

Пошукові машини вкладають величезну кількість ресурсів для можливості безперервно індексувати і шукати новий контент по всесвітній павутині. Тож не дивно, що кожна система намагається шукати і індексувати тільки корисний і потрібний контент, в зв'язку з цим у Google з'явився так званий «додатковий» індекс, сторінки, які знаходяться в ньому, є другосортними і не беруть участь в основному пошуку.

Крім усього іншого, якщо у вас є контент, який дублюється, то в такому випадку Google може ранжувати (показувати) ту сторінку, яка більш авторитетна по його алгоритмам, але менш авторитетна для нашого сайту. Такі випадки бувають і виходить так, що ми вкладаємо сили і ресурси в ті сторінки, які пошукова система вже визначила, як не основні.

Як шукати і діагностувати дублюючийся контент?

Напевно не зайвим буде нагадати, що профілактика завжди краще, ніж вже лікування наявного діагнозу. Тому першочергово при створенні нового сайту, обов'язково поговоріть з вашим web-майстром про систему, яка автоматично буде уникати дублювання контенту. Великі компанії, що спеціалізуються на розробці і програмуванні сайтів знають про основні SEO вимоги, але ось приватні фрілансери дуже часто далекі від цих понять, а іноді просто ігнорують їх, так як замовник промовчав в ТЗ.

Існує маса інструментів для виявлення дублів контенту, це програми про які я згадував вище, так і різні веб сервіси, але я покажу абсолютно безкоштовний інструмент, і це звичайно Google.

Переходимо в Search Console Google у вкладку «вид в пошуку» і там дивимося «оптимізацію html» власне ви і отримаєте всі варіанти дублювання контенту на вашому сайті. Якщо повторюються title подивіться, швидше за все це йде повне дублювання сторінок сайту, деталі вже уточнюєте за допомогою порівняння двох адрес вказаних в консолі.

Використання оператора site для пошуку дублів

Я вже торкався теми по використанню цього оператора, можете ознайомитися, якщо раптом ви її пропустили «що знають про вашому сайті пошукові системи, оператор site «.

В наведеному вище прикладі я ввів в пошуковому рядку Google оператор site далі домен сайту за яким збираюся проводити пошук контенту і через пробіл в лапках шуканий шматок пропозиції. Система видала мені 27 документів, які містять це згадка, це не означає, що ці документи дублюються, я просто показав, що якщо у вас є підозри про дублювання контенту ви можете виконати теж саме, тільки використовувати фрази для пошуку, які свідомо повинні бути тільки на одному документі.

Ще хочу дати посилання на парочку безкоштовних інструментів для сканування вашого сайту на дублікати і не тільки:

• www.siteliner.com - 250 сторінок безкоштовно
• Xenu Link Sleuth - одна з популярних програм серед оптимізаторів, яка допомагає проводити технічний аудит сайту
• WebSite Auditor - 30% даних безкоштовно показуються для всіх

Як боротися з дублюванням контенту?

Тепер, після того як ви вже знаєте, як виявити проблему, вам буде цікаво, як же її вирішити. Нижче наведені найбільш популярні причини дубльованого контенту і способи його усунення. Давайте розберемося з цим!

Дублювання контенту пов'язане з однаковим вмістом на різних сайтах в мережі.

Рішення:

а) Якщо вам необхідно надати опис вашого сайту, не копіюйте його зі своєї сторінки. Замість цього, витратьте пару хвилин і напишіть унікальне опис.

б) Если у вас є кілька доменів з однакової вмістом, ви можете создать междоменной канонічній тег. (Детальний опис можна знайти на сайті https://support.google.com/webmasters/answer/139066?hl=ru). В принципі, вам потрібно вибрати, який URL буде джерелом, і перенаправити до всіх до нього.

в) Якщо не ви власник доменів, то вам потрібно спілкуватися з веб-майстрами, щоб вирішити проблему, просити ваших дочірніх філій згадати ваш сайт, як першоджерело, якщо ви вирішили дублювати частину вмісту на інших сайтах.

Дублікати створені всередині сайту

Внутрішні дублікати сайту найчастіше викликані неправильно вибрано параметр системи управляє цим сайтом або ж неправильним його наповненням. Давайте розглянемо найбільш поширені помилки через які дублюється контент.

1. Різні URL ведуть на одну і ту ж сторінку
   Виправлення: Якщо вам по функціоналу потрібно, щоб кілька url вело на одну сторінку, можна другорядні перенаправити тегом rel = "canonical» на основну, тим самим зберігши структуру сайту і не порушивши правила пошукових систем.
2. Використання фільтрів і пошуку по сайту, які на закриті в robots.txt
   Виправлення: У більшості випадків, таке краще не індексувати, шляхом додавання мета-тег NoIndex на сторінки з сумнівними параметрами. Ще як варіант обчислити загальний параметр фільтрів і заборонити їх індексувати в robots.txt
3. Сторінки з різними партнерськими посиланнями
   Виправлення: Досить сторінці, на яку посилаються по реферальним посиланнях прописати rel = "canonical» з самої на себе і всі вхідні будуть автоматом посилатися на її, як на основну.

Я сподіваюся ви зрозуміли, як важливо уникати дублювання контенту на вашому сайті, якщо є питання або щось не до кінця зрозуміли, пишіть мені і я з радістю дам пояснюють відповіді.

Крок №9 - валідна верстка HTML і CSS

100% правильна верстка не дасть зростання вашого сайту в рейтингу пошукових систем, але відсутність якісної верстки може привести до плачевних показниками, коли неправильно написані теги можуть просто звести нанівець всі зусилля в роботі з сайтом.

Давайте наведу вам два приклади, що станеться, якщо замість тега title написати tilte? Або замість descriotion написано deskription? У першому випадку наша сторінка не отримає один з найважливіших інструментів ранжирування сторінки, а саме title, у другому замість нашого опису пошукові машини виведуть, то що самі порахують правильним.

Щоб зрозуміти в якому стані ваша верстка знаходиться досить пройти по посиланню на безкоштовний валідатор і перевірити ваш сайт. При переході ви отримаєте поле для введення адреси сайту, вводимо і натискаємо на перевірку, через час отримуємо відповідь і якщо у вас є помилки ви їх все побачите нижче по сторінці. Виправте самі або віддайте вебмайстру, щоб привести в порядок ваш сайт.

Крок №10 - створення карти сайту

Простіше кажучи, карта сайту являє собою список сторінок вашого сайту. І на даний момент є два типи Sitemaps.

• HTML карта сайту зроблена в основному для користувачів, щоб допомогти їм легко знайти необхідну інформацію.
• XML Sitemap (це зазвичай називається Sitemap, з великої літери S) є важливою тільки для пошукових систем.

Карта сайту для людей:

Карта сайту для пошукових систем:

Варіант карти сайту для людей корисний в основному для швидкої навігації відвідувачів по сайту, а ось карта сайту в форматі .xml більше корисна для роботів пошукових систем. Крім самого наявності карта сайту повинна мати ряд параметрів, які вказують як часто варто роботу відвідувати ті чи інші розділи сайту.

Щоб більше зрозуміти і розібратися в складанні має бути діюча карти сайту, я рекомендую вам ознайомитися з цим ресурсом www.sitemaps.org , Де дуже детально описано для чого потрібна карта сайту і як її правильно скласти! Також не забудьте зазирнути на сторінку Гугл, де є матеріал про sitemap .

Після створення карти сайту на вашому сайті, її потрібно додати в панелі вебмастера пріоритетною пошукової системи, як це зробити я опишу нижче.

Додавання карти сайту в Google

Переходимо в Search Console -> Сканування -> Файли Sitemap і додаємо вашу карту сайту. Через деякий час робот обійде ваш сайт і частина сторінок буде додано в індекс системи. Думаю у вас вийде, нічого складного в цьому немає!

І так ще скажу, що є дуже багато плагінів і модулів під різні відомі cms дозволяють на автоматі генерувати карту сайту з усіх новостворених сторінок і розділів сайту. Якщо ви використовуєте такі системи пошукайте в інтернеті готові рішення!

Додавання карти сайту в Яндекс

Переходимо в панель веб-майстер Яндекс -> Налаштування індексування -> Файли sitemap -> Додати. Аналогічно з пошуковою системою Google через деякий час ваш сайт обійде робот Яндекса і зробить відповідні позначки в свою базу даних, а через час, якщо ваш сайт для людей і правильно оптимізований ви почнете з'являтися у видачі цих пошукових систем.

На цьому наша глава закінчена, я сподіваюся ви нічого не втратите з цих 10 кроків, які все так чи інакше впливають на швидкість і якість індексації вашого сайту.

Поділіся з друзями: