Сышышь ты, выходи сюда,
поговорим !

Оптимизируйте ваш robots.txt для Magento

  1. Как robots.txt улучшит ваш Magento?
  2. Установка Robots.txt
  3. Robots.txt для Magento
  4. Проверьте свой robots.txt

Важно создать и оптимизировать robots

Важно создать и оптимизировать robots.txt, чтобы сделать ваш магазин Magento безопасным и улучшить SEO.

Robots.txt («текст точки роботов») - это текстовый файл, который помогает роботам поисковых систем (таким как бот Google и бот Bing) определять, какую информацию индексировать. По умолчанию в дистрибутиве Magento Community или Enterprise нет robots.txt, поэтому вы должны создать его самостоятельно.

Как robots.txt улучшит ваш Magento?

Это всего лишь несколько примеров использования robots.txt, поэтому вы лучше поймете, почему это так важно:

  • Файл robots.txt поможет вам избежать проблем с дублированием контента (это очень важно для SEO).
  • Он будет скрывать техническую информацию, такую ​​как журналы ошибок, отчеты, файлы Core, файлы .SVN и т. Д., От непредвиденной индексации (хакеры не смогут использовать поисковые системы для обнаружения вашей платформы и другую информацию).

Установка Robots.txt

Примечание. Файл robots.txt охватывает один домен. Для веб-сайтов Magento с несколькими доменами или поддоменами каждый домен / поддомен (например, store.example.com и example.com) должен иметь свой собственный файл robots.txt.

Сообщество Magento и Предприятие Magento

Установка robots.txt проста. Все, что вам нужно, это создать файл robots.txt и скопировать код robots.txt из нашего блога. Затем загрузите файл robots.txt в корневой каталог вашего сервера, например, здесь: example.com/robots.txt.

Если вы загрузите файл robots.txt в подпапку, например, example.com/store/robots.txt, в этом случае файл robots.txt будет игнорироваться всеми поисковыми системами.

Magento Go

Установка robots.txt для Magento Go описана в этом Статья базы знаний ,

Robots.txt для Magento

Вот наш рекомендуемый код robots.txt, пожалуйста, прочитайте комментарии, помеченные # перед публикацией robots.txt:

## robots.txt для сообщества Magento и предприятия ## ОБЩИЕ НАСТРОЙКИ ## Включить правила robots.txt для всех искателей. User-agent: * ## Параметр Crawl-delay: количество секунд ожидания между последовательными запросами к одному и тому же серверу. ## Установите пользовательскую частоту сканирования, если у вас возникают проблемы с трафиком на вашем сервере. # Задержка сканирования: 30 ## Карта сайта Magento: раскомментируйте и замените URL своего файла карты сайта Magento # Карта сайта: http://www.example.com/sitemap/sitemap.xml ## ПАРАМЕТРЫ, СВЯЗАННЫЕ С РАЗРАБОТКОЙ ## Не сканировать разработку файлы и папки: CVS, каталоги svn и файлы дампа Disallow: / CVS Disallow: /*.svn$ Disallow: /*.idea$ Disallow: /*.sql$ Disallow: /*.tgz$ ## ОБЩИЕ НАСТРОЙКИ MAGENTO ## Не сканировать страницу администрирования Magento Disallow: / admin / ## Не сканировать общие технические папки Magento Disallow: / app / Disallow: / downloader / Disallow: / errors / Disallow: / includes / Disallow: / lib / Disallow: / pkginfo / Disallow: / shell / Disallow: / var / ## Не сканировать общие файлы Magento Disallow: /api.php Disallow: /cron.php Disallow: /cron.sh Disallow: / error_log Disallow: /get.php Disallow: / install .php Disallow: /LICENSE.html Disallow: /LICENSE.txt Disallow: /LICENSE_AFL.txt Disallow: /README.txt Disallow: /RELEASE_NOTES.txt ## MAGENTO SEO УЛУЧШЕНИЯ ## Не сканировать страницы подкатегорий, которые отсортированы или fi фильтруется. Disallow: / *? Dir * Disallow: / *? Dir = desc Disallow: / *? Dir = asc Disallow: / *? Limit = all Disallow: / *? Mode * ## Не сканировать копию 2-й домашней страницы ( example.com/index.php/). Раскомментируйте его, только если вы активировали URL-адреса Magento SEO. ## Disallow: /index.php/ ## Не сканировать ссылки с идентификаторами сеансов Disallow: / *? SID = ## Не сканировать страницы извлечения и учетной записи пользователя Disallow: / checkout / Disallow: / onestepcheckout / Disallow: / customer / Disallow: / customer / account / Disallow: / customer / account / login / ## Не сканировать страницы поиска и не оптимизированные для SEO ссылки на каталоги Disallow: / catalogsearch / Disallow: / catalog / product_compare / Disallow: / catalog / category / view / Disallow: / каталог / product / view / ## НАСТРОЙКИ СЕРВЕРА ## Не сканировать общие технические папки и файлы сервера Disallow: / cgi-bin / Disallow: /cleanup.php Disallow: /apc.php Disallow: /memcache.php Disallow: /phpinfo.php ## ПАРАМЕТРЫ ОБРАЗОВАТЕЛЯ ИЗОБРАЖЕНИЯ ## Дополнительно: раскомментируйте, если вы не хотите, чтобы Google и Bing проиндексировали ваши изображения # User-agent: Googlebot-Image # Disallow: / # User-agent: msnbot-media # Disallow : /

Проверьте свой robots.txt

После публикации robots.txt вы можете проверить его синтаксис, используя следующие инструменты:

дальнейшее чтение

Олег Чеховский

Любимая цитата: «Дай им качество. Это лучший вид рекламы». - Милтон Херши.

Txt улучшит ваш Magento?
Txt улучшит ваш Magento?
Disallow: / *?