Сышышь ты, выходи сюда,
поговорим !

10 (ага!) Причин, по которым Google не может индексировать (страницы на) ваш сайт

  1. Как проверить индекс Google вашего сайта
  2. Общие причины, по которым Google не индексирует ваш сайт
  3. 2. Заблокировано через Robots.txt
  4. 3. Метка-робот «Noindex»
  5. 4. «Noindex» X-Robots Tag
  6. 5. Внутренние дубликаты
  7. 6. Внешние дубликаты
  8. 7. Общий недостаток индекса Google
  9. 8. Ваш сайт все еще новый и непроверенный
  10. 9. Время загрузки страницы
  11. 10. Сиротские Страницы
  12. Если вы сомневаетесь, обратитесь за помощью

Получение (и сохранение) страниц вашего сайта, проиндексированных в Google, может стать проблемой для новых сайтов и для сайтов с технический SEO или проблемы качества контента. Эта статья призвана помочь вам раскрыть потенциальные причины, по которым у вас могут возникнуть проблемы с тем, что Google не индексирует ваш сайт. Иногда проблемы могут быть быстро решены, однако бывают случаи, когда вам нужно копать глубже, чтобы раскрыть истинную причину того, что Google не индексирует все ваши веб-страницы.

технический SEO

Как проверить индекс Google вашего сайта

Чтобы сначала определить, что ваша страница (или весь сайт) не проиндексирована в Google, выполните следующие действия:

  1. Используйте запрос «site: domain.com», например, в следующем примере: сайт: kernmedia.com , Это покажет вам большинство (но, вероятно, не все) URL, которые Google проиндексировал в своей поисковой системе для домена. Google может не показывать все страницы, проиндексированные на вашем сайте с этим запросом, потому что запрос может быть выполнен в любом количестве центров обработки данных Google, которые имеют несколько разные индексы. Вы можете увидеть больше или меньше URL-адресов, проиндексированных для вашего сайта с этим запросом в любой день. Совет: добавьте «www» перед вашим доменом, если вы по умолчанию используете субдомен «www» вашего сайта. Это покажет вам только URL, проиндексированные для этого субдомена.
  2. Используйте запрос «site: domain inurl: <slug>», например, в следующем примере: site: kernmedia.com inurl: google-not-indexing-site , Это покажет вам, была ли Google проиндексирована определенная страница.
  3. Используйте запрос «site: domain filetype: <filetype>», например, в следующем примере: site: kernmedia.com тип файла: xml , Это покажет вам, есть ли у Google страница с определенным типом файла, проиндексированным для вашего сайта.
  4. Проверьте " Индекс статуса ”В консоли поиска Google . Этот удобный отчет позволит вам (с первого взгляда) увидеть, сколько страниц на вашем сайте проиндексировано в поисковой системе Google. Он также может показать, сколько URL заблокировано или было удалено. Все три показателя отображаются в виде графика в течение года, что может быть полезно для отслеживания индексации вашего сайта в Google с течением времени.
  5. Проверьте " Sitemaps ”В консоли поиска Google . Это еще один полезный отчет, который покажет вам, сколько страниц в вашем XML-файле сайта было отправлено в Google, и сколько проиндексировано. Подобно отчету «Состояние индекса», этот инструмент покажет вам временную шкалу индексации URL карты сайта за месяц (вместо года).

Найти больше предложений по поисковым операторам Google Вот ,

Общие причины, по которым Google не индексирует ваш сайт

1. Коды ответа, кроме 200 (ОК)

Возможно, это само собой разумеется, но если ваши страницы не выдают код ответа сервера 200 (ОК), то не ожидайте, что поисковые системы будут их индексировать (или сохранять их проиндексированными, если они когда-то были). Иногда URL-адреса случайно перенаправляются, вызывая ошибки 404 0r 500, в зависимости от проблем CMS, проблем с сервером или ошибок пользователя. Сделайте быструю проверку, чтобы убедиться, что URL для вашей страницы загружается правильно. Если он загружается, и вы видите это, вы, вероятно, в порядке. Но вы всегда можете запустить URL через HTTPStatus.io проверять. Вот как это выглядит:

2. Заблокировано через Robots.txt

Файл /robots.txt на вашем веб-сайте (например, расположенный по адресу http://www.domain.com/robots.txt) дает Google свои команды сканирования. Если определенная страница на вашем сайте отсутствует в индексе Google, это одно из первых мест для проверки. Google может показывать сообщение «Описание этого результата недоступно из-за robots.txt этого сайта» под URL-адресом, если ранее он проиндексировал страницу на вашем сайте, которая теперь заблокирована с помощью robots.txt. Вот как это выглядит:

Проверьте мою статью на Как написать файл Robots.txt для получения дополнительной информации об оптимизации этого важного элемента ваших усилий SEO.

3. Метка-робот «Noindex»

Другая распространенная причина, по которой страница на вашем сайте не может быть проиндексирована в Google, заключается в том, что она может иметь своего рода метатег-тег «noindex» в <head> страницы. Когда Google видит этот метатег-тэг, ясно, что он не должен индексировать страницу. Google всегда будет уважать эту команду, и она может принимать различные формы в зависимости от того, как она закодирована:

  • NOINDEX, следовать
  • NOINDEX, NOFOLLOW
  • NOINDEX, следовать, NOODP
  • noinde, NOFOLLOW, NOODP
  • NOINDEX

Вот скриншот того, как это выглядит в <head> страницы:

Чтобы проверить, есть ли на вашей странице метатег тега noindex, просмотрите исходный код и найдите код в <head>. Если ваш веб-сайт отображается с использованием javascript, вам может потребоваться использовать функцию «Проверка элемента» в Google Chrome для правильного просмотра <head>. Больше информации Вот ,

4. «Noindex» X-Robots Tag

Подобно мета-тегу robots, тег X-robots предлагает возможность управления индексацией в Google с помощью тега уровня страницы. Однако этот тег используется в ответе заголовка конкретной страницы или документа. Он обычно используется на не HTML-страницах, где нет <head>, таких как PDF-файлы, DOC-файлы и другие файлы, которые веб-мастера хотят сохранить в индексе Google. Маловероятно, что тег X-robots «noindex» был случайно применен, однако вы можете проверить, используя SEO инструменты сайта расширение для Chrome. Вот скриншот того, как это выглядит.

5. Внутренние дубликаты

внутренний дублирование контента это риск для любых усилий SEO. Внутренний дублированный контент может или не может удерживать ваши страницы в индексе Google, но большие соотношения внутреннего дублированного контента на ваших страницах, скорее всего, будут препятствовать их ранжированию. Если у вас есть конкретная страница, которая содержит большое количество аналогичного контента с другой страницей на вашем веб-сайте, возможно, это может быть причиной того, что ваша страница либо не проиндексирована в Google, либо просто не имеет хорошего рейтинга.

Чтобы проверить наличие дублированного содержимого, я рекомендую использовать Siteliner инструмент для сканирования вашего сайта. Он будет сообщать обо всех страницах с внутренним дублированным контентом, выделяя дублированный контент для удобства просмотра, а также предлагает вам простое графическое представление о том, сколько контента дублируется на вашем веб-сайте.

Он будет сообщать обо всех страницах с внутренним дублированным контентом, выделяя дублированный контент для удобства просмотра, а также предлагает вам простое графическое представление о том, сколько контента дублируется на вашем веб-сайте

Google четко заявляет Вот что веб-сайты должны минимизировать подобный контент. Возможно, что страницы на вашем сайте с очень похожим содержанием все равно будут в некоторой степени ранжироваться, однако страницы с точно таким же содержанием, скорее всего, будут отфильтрованы из результатов немедленного поиска Google. Они могут быть исключены из результатов поиска при наличии уведомления, такого как следующее.

Они могут быть исключены из результатов поиска при наличии уведомления, такого как следующее

6. Внешние дубликаты

Внешний дублированный контент - это то, что вы можете ожидать… контент, дублированный другими веб-сайтами. Большое соотношение дублированного контента является верным признаком низкого качества для Google, и его следует избегать любой ценой. Независимо от того, является ли ваш сайт ведущий маркетинг сайт, Интернет-магазин , онлайн публикация платформа или блог для любителей… применяются те же правила.

Один из способов определить, дублируется ли ваш контент с другими сайтами, - поместить фрагмент контента в цитаты и выполнить поиск в Google, например: этот пример , который показывает, что описание продукта Home Depot дублируется рядом других веб-сайтов. Примечание. Из-за авторитета бренда Home Depot, его содержания и других факторов они, вероятно, по-прежнему будут занимать высокие позиции в результатах поиска Google с дублированным контентом. Тем не менее, менее авторитетные сайты не могут быть проиндексированы полностью и не имеют хорошего рейтинга с дублированным контентом, таким как описания продуктов, предоставляемые производителем.

Чтобы проверить наличие внешнего дублированного контента, я рекомендую использовать Copyscape сканировать карту сайта или определенный набор URL-адресов. Этот инструмент предоставит очень полезный (и экспортируемый) отчет о дублировании вашего сайта с внешними сайтами. Вот снимок экрана того, как это выглядит (с URL моего клиента и информацией Заголовка, размытой для конфиденциальности).

7. Общий недостаток индекса Google

Также возможно, что конкретная страница или ваш сайт в целом могут быть настолько плохими, что просто не обеспечивают достаточную ценность для индекса Google. Например, партнерские сайты, на которых нет ничего, кроме динамически генерируемой рекламы, не представляют особой ценности для пользователя. Google усовершенствовал свой алгоритм, чтобы избежать ранжирования (а иногда и индексации) таких сайтов. Если вас беспокоит качество вашего сайта, внимательно посмотрите на уникальную ценность, которую он предоставляет индексу Google, который еще не предоставлен другими сайтами.

8. Ваш сайт все еще новый и непроверенный

Новые сайты не индексируются Google и другими поисковыми системами. Google использует ссылки и другие сигналы для индексации и ранжирования веб-сайта (визуально) в результатах поиска. Вот почему создание ссылок так важно для новых сайтов, особенно.

9. Время загрузки страницы

Если на вашем сайте есть страницы, которые загружаются медленно и они не зафиксированы, Google, вероятно, со временем снизит рейтинг, и страница может даже выпасть из индекса поисковой системы. Как правило, страница просто падает в рейтинге, но это почти так же плохо, как и отсутствие индексации вообще.

Чтобы проверить время загрузки страницы, вы можете использовать Google Speed ​​Page Insights инструмент или Инструмент GTMetrix , Вот снимок экрана, показывающий пример отчета, который предоставляет инструмент Google.

Чтобы проверить время загрузки страницы, вы можете использовать   Google Speed ​​Page Insights   инструмент или   Инструмент GTMetrix   ,  Вот снимок экрана, показывающий пример отчета, который предоставляет инструмент Google

10. Сиротские Страницы

Google сканирует ваш сайт (и XML-карту сайта), чтобы найти ссылки на ваш контент, обновить его индекс и повлиять на рейтинг вашего сайта в результатах поиска (среди прочих факторов). Если Google не может найти ссылки на ваш контент, ни на вашем сайте, ни на внешнем сайте, то он не существует для Google. Это не будет проиндексировано. Страницы без внутренних ссылок называются «потерянными страницами», и они могут стать причиной снижения индексации в Google. Чтобы определить, являются ли ваши страницы доступными для обнаружения, рекомендуется сканировать ваш сайт с помощью такого инструмента, как Кричащая лягушка , а затем искать конкретные URL-адреса в вопросе. Вот пример того, как это выглядит.

Более надежный способ проверки потерянных страниц - экспортировать URL-адреса из обхода Screaming Frog и подготовить электронную таблицу, которая синхронизирует URL-адреса с вашей картой сайта XML (при условии, что это точно). Это позволит вам сразу идентифицировать все URL-адреса, которые включены в вашу карту сайта XML, но не были обнаружены во время сканирования. Помните, что настройки сканирования могут определять, какие URL сканируются, поэтому рекомендуется использовать этот инструмент надлежащим образом.

Если вы сомневаетесь, обратитесь за помощью

Для некоторых людей этот материал просто слишком технический, и лучше обратиться за консультацией к SEO специалист ... как я 🙂 Если вы застряли, вам нужно определить, насколько ценно ваше время. Проведение поздних ночей в попытках заняться индексацией и рейтингом Google станет утомительным. Помните, что индексация не соответствует оптимальному ранжированию. После того, как Google проиндексировал ваш сайт, качество вашего сайта, профиль ссылки и другие сигналы сайта и бренда будут определять, насколько хорошо ваш сайт будет ранжироваться. Но индексация - это первый шаг в вашем SEO-путешествии.