Руководство для начинающих по использованию Screaming Frog

1. Что такое кричащая лягушка?
2. Руководство для начинающих по Screaming Frog
3. Выполнение аудита ссылок с Screaming Frog
4. Выполнение аудита контента с помощью Screaming Frog
5. Создание XML Sitemap
6. Автор Джеймс Парсонс

Если вы не знакомы с миром интернет-маркетинга, и кто-то сказал вам, что вы должны использовать Screaming Frog, что бы вы подумали? Я бы назвал их сумасшедшими. Однако оказывается, что Screaming Frog - отличный инструмент, который слишком немногие люди используют в полной мере.

Что такое кричащая лягушка?

Теперь, когда люди говорят о Screaming Frog, они не говорят о компании и их услугах веб-маркетинга. Вы, конечно, свободны заключать контракты на любую SEO-работу, которую хотите, но я здесь не для этого.

Я здесь, чтобы научить вас, как использовать бесплатный инструмент, который они предоставляют, Screaming Frog SEO Spider Tool ,

Паук - это часть программного обеспечения, которая ползает по веб-сайту, собирает данные и представляет их владельцу паука. Google располагает целым рядом таких вещей, которые он использует для максимально полной индексации Интернета для использования в результатах поиска.

Другие поисковые системы - от Yahoo и Bing до чудаков Миллион шорт либо используйте свои собственные поисковые пауки, либо извлекайте индексы данных из других сущностей, которые используют пауков.

Этот конкретный паук является настольным приложением, которое можно загрузить и запустить с локального ПК независимо от платформы. Он извлекает данные SEO, включая URL, метаданные, категории схемы и многое другое.

Основным преимуществом Screaming Frog's Spider является возможность поиска и фильтрации различных проблем SEO . Вам не нужно иметь глубокие знания SEO, чтобы понять, что происходит, а что нет; инструмент поможет отфильтровать его для вас. Он может найти плохие перенаправления, обновления метаданных, дубликаты страниц, отсутствующие метаданные и многое другое.

Инструмент очень надежный. Собранные данные включают в себя ошибку сервера и ссылки, перенаправления, URL-адреса, заблокированные robots.txt, внешние и внутренние ссылки и их состояние, состояние безопасности ссылок, проблемы с URL-адресами, проблемы с заголовками страниц, метаданными, временем отклика страницы, количеством слов страницы. , канонизация, текст ссылки, изображения с URL-адресами, размеры, альтернативный текст и многое другое.

По сути, когда я говорю о проведении аудита сайта или аудита контента, все , что я рекомендую вам собрать, может быть собрано с помощью Screaming Frog , и многое другое. Кроме того, поскольку этот инструмент создан для SEO-оптимизации, он соответствует стандарту Google AJAX (Francis) для сканирования в Интернете.

Теперь основным инструментом является облегченная версия инструмента, которую вы можете скачать и использовать бесплатно. Тем не менее, это ограничивает вас несколькими заметными способами. В первую очередь вы можете сканировать только 500 URL-адресов, и у вас нет доступа к некоторым пользовательским параметрам, интеграции с Google Analytics и множеству других функций.

Я настоятельно рекомендую, если у вас есть сайт среднего или большого размера с более чем 500 URL-адресами, которые вы хотите сканировать, вы покупаете полную лицензию. Это ежегодный сбор в размере 99 британских фунтов, который на момент написания этой статьи составлял около 140 долларов. Учитывая, что он стоит меньше 12 долларов в месяц, большинство компаний могут легко себе это позволить, и оно того стоит.

По умолчанию Screaming Frog подчиняется тем же директивам, что и робот Google, включая теги nofollow и noindex в вашем robots.txt ,

Однако, если вы хотите, вы можете дать ему уникальные директивы, используя собственный агент пользователя «Screaming Frog SEO Spider». Это позволяет вам контролировать его более напрямую и потенциально дать ему больше доступа, чем получает Google. Вы можете прочитать больше о том, как это сделать, на их странице загрузки, внизу.

Руководство для начинающих по Screaming Frog

Независимо от размера вашего сайта, если вы не уверены на 100%, что все сделали правильно и не ошиблись - вы ошибаетесь, если верите этому, кстати, - первое, что вы хотите сделать завершено полное сканирование сайта .

Я предполагаю, что вы используете полную версию Screaming Frog, чтобы убедиться, что вы ничего не пропустили.

Опять же, это супер дешево, просто купите лицензию.

1. Нажмите меню конфигурации и нажмите паук.
2. В появившемся меню нажмите «Сканирование всех поддоменов», чтобы оно было отмечено. Вы можете сканировать CSS, JavaScript, изображения, SWF и внешние ссылки, чтобы получить полное представление о вашем сайте. Вы можете оставить их без галочки, если вы хотите быстрее сканировать только элементы страницы и текста, но не мультимедиа или сценарии.
3. Инициируйте сканирование и дождитесь его завершения. Это будет быстрее, чем меньше вы проверили в меню конфигурации. Это также ограничено тем, какую вычислительную мощность и объем памяти вы выделили программе. Чем мощнее ваш компьютер, тем быстрее он будет сканировать.
4. Перейдите на вкладку «Внутренние» и отфильтруйте результаты по HTML. Нажмите, чтобы экспортировать. Вам будет предоставлен CSV-файл со всеми просканированными данными, отсортированный по отдельной HTML-странице. Затем вы можете использовать это для выявления проблем на данной странице и их быстрого и простого устранения.

Если вы обнаружили, что Screaming Frog дает сбой при сканировании большого сайта, возможно, у вас проблемы с памятью. Паук будет использовать всю доступную ему память, а иногда она будет выше, чем ваш компьютер позволит ей справиться.

Чтобы поставить на него газ и не дать ему разбиться, вам нужно вернуться в меню конфигурации этого паука. В разделе «Дополнительно» установите флажок «Приостановить использование высокой памяти». Это приведет к приостановке работы паука, когда он потребляет ресурсы, превышающие те, которые он может обработать.

Если вы обнаружите, что время вашего сканирования истекло, это может быть связано с тем, что сервер не обрабатывает столько запросов, сколько вы хотите отправить. Чтобы ограничить скорость сканирования, перейдите в подменю скорости в меню конфигурации и выберите ограничение для количество запросов, которое он может сделать в секунду.

Если вы хотите использовать прокси для сканирования - для проведения конкурентных исследований или во избежание блокировки захвата ботов - вам нужно будет щелкнуть конфигурацию и выбрать прокси. Из этого меню вы можете установить настройки прокси на ваш выбор.

Screaming Frog поддерживает практически любой вид прокси-сервера, который вы хотите использовать, хотя вам нужно быть уверенным, что он быстрый и отзывчивый, в противном случае сканирование будет длиться вечно.

Выполнение аудита ссылок с Screaming Frog

Ссылки трудно проверять, потому что их сложно собрать. Сколько ссылок у вас есть на типовой странице? Соедините это со всеми вашими параметрами, и у вас будет много информации, которую вам нужно собрать. Вот как это сделать с пауком.

1. В меню настройки паука отметьте все дочерние домены, но снимите флажки с CSS, изображениями, JavaScript, Flash и другими ненужными параметрами. Решите, хотите ли вы сканировать следующие ссылки и установите соответствующие флажки.
2. Запустите сканирование и дайте ему поработать, пока оно не закончится.
3. Откройте меню «Расширенный отчет» и нажмите «Все ссылки», чтобы создать и экспортировать CSV-файл со всеми просматриваемыми ссылками, включая их местоположения, места назначения, текст привязки, их директивы и другие данные.

Отсюда вы можете экспортировать данные или сортировать их по своему усмотрению. Вот некоторые виды и действия, которые вы можете выполнить.

• Нажмите на внутреннюю вкладку и сортируйте по ссылкам. Это покажет вам страницы с наибольшим количеством ссылок на вашем сайте. По словам Google, страницы с более чем 100 ссылками, как правило, являются подозрительными, поэтому вы можете провести аудит этих страниц, чтобы определить, почему у них так много ссылок и как их можно минимизировать.
• Нажмите на внутреннюю вкладку и нажмите код состояния. Любые ссылки, которые показывают код состояния 404, являются сломанными; Вы хотите исправить эти ссылки. Ссылки, сообщающие о 301 или других перенаправлениях, могут перенаправлять на домашние страницы или на вредоносные страницы; проверьте их и определите, должны ли они быть удалены. Вы также можете создавать специальные отчеты для различных типов кодов состояния - 3XX, 4XX или 5XX для перенаправлений, ошибок клиента или ошибок сервера соответственно - в раскрывающемся списке «Расширенный отчет».
• Это руководство показывает, как использовать Majestic и Screaming Frog вместе, чтобы найти возможности для внутренних ссылок.

Выполнение аудита контента с помощью Screaming Frog

Контент-аудит чрезвычайно важен, потому что тонна наиболее важных факторов ранжирования в поисковой сети сегодня основана на контенте. Скорость сайта, интеграция HTTPS, мобильная интеграция, Schema.org; все они важны, но они не так важны, как качественный контент, хорошие изображения и отсутствие дублирования.

1. Выполните полный обход сайта, включая CSS, изображения, скрипты и все остальное. Вы хотите как можно больше данных.
2. На внутренней вкладке отфильтруйте по HTML, затем прокрутите список до столбца количества слов и отсортируйте его по возрастанию. Страницы, содержащие менее 500-1000 слов, вероятно, будут тонким содержанием; определить, должны ли они быть улучшены, неиндексированы или удалены полностью. Примечание: это потребует некоторой интерпретации для сайтов электронной коммерции, особенно страниц с минимальной, но ценной информацией о продукте.
3. На вкладке изображений отфильтруйте по «отсутствующему альтернативному тексту», чтобы найти изображения, которые сдерживают ваш сайт, так как альтернативный текст не связан с изображениями. Вы также можете отфильтровать по «alt text свыше 100 символов», чтобы найти изображения с избыточным alt-текстом, что, как правило, наносит ущерб пользовательскому опыту и рейтингу поиска.
4. На вкладке заголовков страниц отфильтруйте заголовки длиной более 70 символов. Google не показывает намного больше, поэтому слишком длинные названия не приносят вам пользы. Обрежьте или отредактируйте заголовки, чтобы удалить лишние символы, которые не приносят вам пользы.
5. На той же вкладке заголовков страниц отфильтруйте дубликаты, чтобы найти страницы с дублирующимися мета-заголовками. Дублирующиеся заголовки указывают на дублирующийся контент, что является наказанием Panda и может значительно повредить вашему поисковому рейтингу. Если страницы уникальны, измените их названия, чтобы отразить их содержание. Если страницы являются дубликатами, удалите одну и перенаправьте ее URL на другую или канонизируйте содержимое, если это необходимо.
6. На вкладке URL-адрес отфильтруйте дубликаты, чтобы найти похожие проблемы дублирования, которые необходимо исправить при помощи канонизации.
7. На вкладке мета-описания отфильтруйте дубликаты, чтобы найти ленивые дублированные мета-описания на уникальных страницах, или дубликаты страниц, названия которых были изменены, чтобы они выглядели более уникальными. Исправьте эти проблемы как можно скорее, они наносят ущерб вашему сайту.
8. На вкладке «URL» выполните фильтрацию по различным параметрам, чтобы определить страницы, которые имеют нестандартные или нечитаемые человеком URL-адреса, которые можно изменить. Это особенно важно для страниц с символами не-ASCII или чрезмерным подчеркиванием в URL.
9. На вкладке директивы отфильтруйте по любой директиве, которую вы хотите идентифицировать, страницы или ссылки, к которым прикреплены директивы. Директивы включают index / noindex, follow / nofollow и некоторые другие директивы, которые используются гораздо реже. Это также может быть использовано для определения того, где канонизация уже реализована.

Создание XML Sitemap

Файлы Sitemap невероятно полезны для Google, так как позволяют поисковой системе узнать, где находятся все ваши страницы и когда они последний раз обновлялись. Вы можете создать один из нескольких способов, но Screaming Frog имеет свой собственный метод, если вы хотите его использовать. Все, что вам нужно сделать, это полностью сканировать ваш сайт, включая все субдомены.

Затем нажмите в меню «Advanced Export» и выберите нижнюю опцию, XML Sitemap вариант. Это сохранит вашу карту сайта в виде таблицы Excel, которую вы затем сможете редактировать. Откройте его и выберите «читать онлайн» и «открыть как таблицу SML». Игнорируйте все всплывающие предупреждения. В форме таблицы вы можете легко редактировать карту сайта и сохранять ее в виде файла XML. Когда это будет сделано, вы можете загрузить его в Google.

Если вы обнаружите, что некоторые разделы вашего сайта не индексируются, у вас может быть проблема с robots.txt, помечающим эти подпапки как noindex. Кроме того, если на странице нет внутренних ссылок, указывающих на нее, она не будет сканироваться.

Убедитесь, что любая известная вам страница существует, но не отображается как внутренняя ссылка, указывающая на нее.

И вот, у вас есть это! Руководство для начинающих по Screaming Frog.

Автор Джеймс Парсонс

Джеймс Парсонс - блогер и маркетолог, а также генеральный директор Pagelift. Когда он не пишет в его личный блог или для HuffPo , Inc , или же предприниматель Он работает над своим следующим крупным проектом.

Похожие

Комментарии