Оптимизация сканирования - как управлять ботом Google

1. Оптимизация сканирования - почему это важно?
2. Какие факторы определяют, как Google Bot сканирует страницу?
3. Справочная информация: кофеин и индекс Google
4. Основание: плоская боковая архитектура
5. Техника для оптимизации сканирования
6. robots.txt
7. метаданные
8. Sitemaps
9. микроформатами
10. Мониторинг через файлы журнала сервера
11. Оцените наши статьи

Несколько недель назад я уже попал в один из наших Еженедельные обзоры написано про оптимизацию сканирования Сегодня я хочу поближе познакомиться с этой темой и дать вам несколько полезных советов и подсказок о том, как хотя бы немного контролировать Google-Bot и отправить его на нужные или важные страницы. Вперед!

Оптимизация сканирования - почему это важно?

Всемирная паутина содержит невообразимое количество информации на бесчисленных страницах - и эта тенденция усиливается. Как поисковая система, Google стремится предоставить пользователю наиболее подходящий результат из этого огромного диапазона информации для каждого поискового запроса. Для этого поисковая система отправляет сканеры в глубины Интернета, которые читают и захватывают веб-страницы, чтобы их можно было включить в индекс и оценить в поисковой выдаче Google для соответствия поисковым запросам.

Какие факторы определяют, как Google Bot сканирует страницу?

Из-за большого количества веб-сайтов в World Wide Web понятно, что Google может тратить только ограниченное количество времени на каждый домен для сканирования и записи подстраниц. Но от чего это зависит, как сканер читает сайт? Здесь играют роль три аспекта:

1. Какие страницы сканируются? Это зависит, среди прочего, от количества обратных ссылок и количества внутренних ссылок, которые назначены соответствующему суб см. страницу.
2. Сколько страниц просканировано? Это определяется бюджетом сканирования . Каждый домен имеет свой собственный бюджет обхода, который определяет, сколько времени искатель тратит на домен или сколько подстраниц он читает. громко Мэтт Каттс Количество страниц, которые робот Google сканирует на домене, зависит в основном от их PageRank.
3. Как часто бот Google посещает сайт? Это зависит, среди прочего, от того, как часто веб-сайт обновляется или публикуется новый контент, а также от актуальности упоминаний, социальных сигналов и внешних ссылок.

Учитывая этот ограниченный бюджет сканирования, еще более важно, чтобы сканер поисковой системы сканировал важные страницы домена и не тратил время на неважные страницы. Именно в этом и заключается цель оптимизации сканирования. Это все о сканировании максимально возможного числа подстраниц, исключая неважные страницы из сканирования и устранения возможных «тупиков», таких как ошибочные страницы с ошибками 404, чтобы бот Google не тратил здесь время без необходимости.

В дополнение к бюджету обхода каждый домен имеет свой собственный бюджет индекса , который определяет, сколько URL-адресов в домене будет включено в индекс Google. Особенно на крупных веб-сайтах с большим количеством URL-адресов может иметь смысл исключать неважные страницы из индексации в процессе оптимизации сканирования, чтобы максимально эффективно использовать бюджет индекса.

Справочная информация: кофеин и индекс Google

В июне 2010 года Google внедрил Caffeine, новый способ индексирования веб-контента. Кофеин оказал огромное влияние на скорость, с которой Google может сканировать и индексировать страницы.

перед тем кофеин Индекс Google состоял из разных слоев, которые обновлялись с разными интервалами. Чтобы обновить один из этих слоев, была проанализирована вся сеть, что означало, что между поиском новой страницы и фактическим индексированием часто было достаточно много времени.

С новой системой индексации Caffeine, сеть анализируется небольшими порциями, и индекс постоянно и глобально обновляется. Скорость сканирования теперь соответствует скорости индексирования.

Источник: googleblog.blogspot.de

Однако эта оптимизация процесса индексации не привела к тому, что в индекс было включено еще много страниц. Скорее, часто бывает, что одни и те же страницы сканируются чаще. Это особенно верно для особо важных и крупных веб-сайтов, потому что Google стремится к тому, чтобы эти наиболее важные страницы были как можно более актуальными в индексе.

Страницы, которые регулярно просматриваются, как правило, тоже хороши. И наоборот, это означает, что страницы, которые сканируются только нерегулярно, соответственно имеют худший рейтинг. Опять же, ясно: оптимизация сканирования является важным фактором, помогающим важным страницам попасть в индекс и добиться успеха.

Основание: плоская боковая архитектура

Прежде чем приступить к реализации технических приемов, которые направляют поисковую систему к нужным страницам, вам следует сначала взглянуть на информационную архитектуру сайта. Потому что ясно одно: плоская и понятная структура, в которой каждая подстраница может быть достигнута несколькими щелчками мыши, выгодна не только для пользователя, но и для сканера.

Тема информационная архитектура Я уже имел дело с одной из моих последних статей. Поэтому я не хочу вдаваться в подробности, а просто кратко перечислю наиболее важные аспекты.

на moz.com Рэнд Фишкин представляет интересную графику, иллюстрирующую, как спроектировать архитектуру веб-сайта, чтобы как можно больше страниц сканировалось и попадало в индекс.

Источник: moz.com

Этот график показывает, сколько ссылок обычно получают разные типы подстраниц. Оранжевая страница является домашней страницей и обычно имеет наибольшее количество обратных ссылок. Страницы категорий (фиолетовые) и страницы подкатегорий (зеленые) обычно имеют очень мало обратных ссылок. Большинство страниц с подробной информацией (синие) имеют очень мало ссылок, но есть некоторые исключения, которые генерируют много обратных ссылок.

Источник: moz.com

Второй график показывает, как поисковый движок сканирует такой веб-сайт. Точки входа - это страницы, которые генерируют наибольшее количество обратных ссылок. Они передают Linkjuice на окружающие страницы, которые поэтому сканируются довольно регулярно. Однако многие страницы Google Bot вообще не посещаются.

Так много для иллюстрации. Вот несколько советов по проектированию информационной архитектуры и внутренних ссылок:

• Сохраняйте информационную архитектуру как можно более плоской, чтобы каждая подстраница была доступна с минимальным количеством кликов.
• Внутренние ссылки на страницы со многими обратными ссылками на те, которые нуждаются в большей мощности ссылок. Таким образом, эти страницы усиливаются и сканируются чаще.
• Разместите наиболее важные страницы рядом с домашней страницей. Это обычно дает больше всего Linkjuice.
• Наиболее важные страницы должны чаще всего внутренне связанный быть. Это также напрямую влияет на бюджет сканирования для этих страниц.
• Помимо домашней страницы, страницы категорий должны быть усилены дополнительными внешними ссылками. Это может направить PageRank и Linkjuice и, таким образом, еще больше увеличить бюджет на веб-сайт. Таким образом, Google видит, что важны все подстраницы, а не только домашняя страница и отдельные страницы с подробностями.
• Следует избегать бесконечных путей обхода. Они могут быть созданы, например, в календарях со ссылками на сотни событий.

Техника для оптимизации сканирования

Заложив основу для оптимизации сканирования с помощью хорошо структурированной информационной архитектуры, мы теперь должны поговорить о технических проблемах, которые могут помочь Google Bot понять, как читать сайт. Протокол исключения роботов обсуждалось некоторое время назад в нашем блоге. К ним относятся robots.txt, метаданные, карты сайта и микроформаты, которые можно использовать, чтобы дать сканерам инструкции о том, как вести себя на веб-сайте.

robots.txt

Используя robots.txt, веб-мастер может исключить из сканирования определенные подстраницы, отдельные каталоги или даже весь сайт. Сканер поисковой системы обычно следует инструкциям файла robots.txt и не использует бюджет обхода для исключенных страниц. Это полезно, например, для контактных форм или страниц входа, которые бот не может заполнить в любом случае. Кроме того, можно исключить специальные сканеры поисковых систем, такие как бот Google, для изображений с веб-сайта.

Важное замечание : Исключение подстраницы в файле robots.txt не гарантирует ее отсутствие в индексе. Если Google считает страницу важной, она все равно может появиться в поисковой выдаче.

Как создать robots.txt можно найти в статье robots.txt - вот как это делается читать.

метаданные

Второй способ управления сканерами - использование мета-тегов. В то время как в файле robots.txt исключены из сканирования целые области сайта , метаинформация всегда относится к одной странице и должна быть соответственно вставлена ​​для каждой страницы в отдельности. Удобно, что метатеги могут быть встроены как в HTML-документы, так и в http-заголовки (PDF-файлы, изображения и т. Д.).

Наиболее важными и известными мета-тегами являются noindex и nofollow:

• noindex: сообщает поисковой системе, что страница не должна быть проиндексирована.
• nofollow: сканер не следует переходить по ссылкам на странице.

На практике все выглядит так:

<meta name = "robots" content = "noindex, nofollow" />

Детали в метатегах более обязательны для бота Google, чем в файле robots.txt. Если вы хотите убедиться, что страница фактически не попадает в индекс, вы должны использовать метатеги. Это более безопасная альтернатива, поскольку она явно сообщает боту, что страница не должна быть включена в индекс.

Чтобы иметь возможность читать метатеги, Google сначала должен сканировать страницу. Поэтому метатег noindex запрашивает бюджет обхода, но не индексный бюджет.

Также важно убедиться, что страница не исключена одновременно через robots.txt и не установлена ​​в noindex через метатег. Тогда сканер даже не прочитает страницу и не сможет получить доступ к информации noindex из метаданных.

Sitemaps

Sitemaps представить URL-адреса веб-сайта поисковому роботу в виде списка. Таким образом, поисковая система может быстро захватить все подстраницы, перечисленные в карте сайта. Просматривать страницу проще, а структура сайта быстрее распознается ботом Google. Это также гарантирует, что сканер действительно сможет найти все подстраницы домена. Для мультимедийного контента, такого как видео и изображения, может иметь смысл создать дополнительную карту сайта.

Для того чтобы Google как можно быстрее узнал о файле Sitemap, может быть полезно указать местоположение карты сайта в файле robots.txt.

микроформатами

микроформатами используются для обозначения контента поисковой системы дополнительной информацией, чтобы поисковые системы могли лучше ее интерпретировать.

В ходе оптимизации сканирования атрибут rel = nofollow особенно интересен для ссылок . Это позволяет сканеру игнорировать конкретную ссылку и не переходить по ней. На практике это выглядит так:

<a href="http://example.com/"rel="nofollow"> Якорный текст </a>

Мониторинг через файлы журнала сервера

Всякий раз, когда вы хотите оптимизировать аспект веб-сайта, мониторинг также важен для того, чтобы как можно быстрее обнаружить возможные нежелательные события и успехи. Для этого оптимизаторы используют множество инструментов, таких как Google Webmaster Tools и Google Analytics, которые уже предоставляют обширную информацию о том, как различные пользователи используют сайт.

Однако, если вы действительно хотите углубиться в процесс оптимизации сканирования и отследить сканеры поисковых систем, этих данных часто недостаточно. Тогда имеет смысл оценить так называемые файлы журнала сервера.

Лог-файлы сервера представляют собой подробные отчеты о различных посещениях веб-сайта, в которых записываются все действия пользователя. Это относится не только к людям, которые посещают сайт, но и ко всем сканерам и ботам. Таким образом, они полностью отражают то, как часто сканер поисковых систем посещает веб-сайт, как он ведет себя на веб-сайте, какие пути сканирования он выбирает и какие подстраницы он читает.

Анализируя эти данные, можно сделать выводы о возможном потенциале оптимизации . Например, если сканер встречает 404 страницы ошибок чаще всего, это ясно указывает на потерянный бюджет сканирования.

В следующих двух статьях подробно рассматривается предмет анализа файла журнала и его преимущества для поисковой оптимизации:

SEO находит в журналах вашего сервера

SEO находит в журналах вашего сервера, часть 2: Оптимизация для Googlebot

Я надеюсь, что смогу дать вам обзор основ оптимизации сканирования и с нетерпением жду живого обмена комментариями.

Желаем вам приятной недели отдыха!

Amke и SEO-стажеры

SEO стажер

Что может быть лучше, чем начать карьеру в динамичной, диверсифицированной отрасли с невероятно высоким потенциалом? Это именно то, что я связываю с динамикой SEO, постоянным развитием, великолепным сочетанием креативности и логики, новых идей и аналитического мышления. Первоначально пришедший из туризма, я хотел бы начать сейчас в этой разнообразной области онлайн-маркетинга и познакомиться с различными аспектами SEO с нуля.

Оцените наши статьи

Вам понравилась статья? Скажите нам и оцените его в шляпе.

Вы уже проголосовали за эту тему!

Похожие

Комментарии