Файл .htaccess на службі у seo-оптимізатора

1. Етап 1: блокування доступу до сайту
2. Як реалізувати?
3. Трохи пояснень по синтаксису:
4. А тепер сама захист від роботів:
5. А як заборонити доступ відразу декільком роботам?
6. Як заборонити доступ роботів з певних IP?
7. Як заборонити відразу кілька роботів з одного діапазону IP?
8. Етап 2: робимо зручні URL
9. Що з цим робити?
10. Як це зробити?
11. Етап 3: редіректи
12. 301 редирект або сторінка перенесена НАЗАВЖДИ на інший домен
13. Як реалізувати 301 редирект?
14. 302 редирект або сторінка перенесена ТИМЧАСОВО
15. Як реалізувати 302 редирект?

У багатьох інформаційних матеріалах, які мені коли-небудь доводилося читати про це службовому файлі веб-сервера Apache, говорилося, в основному, про те, як правильно конфігурувати сервер для якісної роботи сайту. Автори приділяли увагу різним технічним моментам, цікавим, по більшій рахунком, адміністраторам серверів і іншим технічним фахівцям.

Інформація про можливість застосування даного файлу для SEO або згадується побіжно, або автори подібних статей губляться у власних думках і про SEO, як про важливий аспект розвитку проекту, взагалі не згадують.

Виявляється стандарт файлу htaccess настільки гнучкий, що настройки можна виробляти фактично для будь-якої нетривіальної задачі, яка повинна виконуватися веб-сайтом. В даному аспекті я шукав саме інформацію про SEO та можливості застосування файлу htaccess для цілей оптимізації сайту для пошукових систем.

Ну що ж? Спробую зібрати свого роду якесь невелике керівництво для seo-фахівців.

У багатьох відразу виникне питання: "а навіщо це треба? Адже є файл robots.txt, в якому можна все вказати?". Відповідаю: "Так, така можливість є, але стандарт файлу robots.txt все ж носить рекомендатівний характер.

Пошукові роботи і не тільки вони можуть не керуватися інформацією, опублікованою там.

Стандарт файлу htaccess вигідно відрізняється від стандарту файлу robots.txt насамперед тим, що всі директиви є обов'язковими для виконання, т. К. Їх виконання контролюється веб-сервером, а не залишається на совісті спамерських пошукових роботів.

Дана стаття являє собою набір етапів-варіантів оптимізації сайту для пошукових систем за допомогою файлу htaccess. Кожен етап - одна невелика мікронастроюванням, що входить в комплексний список SEO-прийомів для оптимізації ресурсу. Описані методи роботи з файлом htaccess працюють тільки в зв'язці з модулем mod-rewrite веб-сервера Apache. Поцікавтеся, чи можна на вашому хостингу використовувати його, а також змінювати налаштування конфігурації сервера за допомогою файлу .htaccess.

Етап 1: блокування доступу до сайту

Для будь-якого сайту надлишковий трафік шкідливий. До того ж багато проектів знаходяться на хостингових проектах, які все ще вимагають оплату трафіку. Та й, до речі, надлишковий трафік крім своєї дорожнечі пристойно навантажує і без того зайнятий сервер, знижуючи його працездатність. Багато проектів в силу різних причин уникають зайвого сканування себе, відсікаючи можливість отримати доступ "непотрібним пошуковикам" до ресурсів сайту. (Наприклад, сайт оптимізується для Росії, отже, трафік з Yahoo не важливий ну або будь-яких інших причин). Багато сайтів намагаються захистити себе від сканування шкідливими роботами (наприклад, збирачами спаму).

Як реалізувати?

Трохи базисної інформації:
Створіть файл .htaccess (з точкою на початку), після того як ви введете необхідні директиви, завантажте його на веб-сервер в текстовій формі для того, щоб ваші настройки змогли вступити в силу (зверніть увагу: цей файл службовий, тому в звичайному режимі його не видно - у вас повинна бути активована опція показу прихованих файлів).

Трохи пояснень по синтаксису:

RewriteEngine - ключ до запуску модуля.
RewriteBase вказує на "глобальність" наших змін (якщо використовується знак «/», значить, настройки будуть застосовані до поточної директорії).
Директива RewriteCond ставить умову, при істинності якого буде виконуватися наша настройка. До складу цієї директиви входить перевірочна рядок. В даному випадку використовуємо змінну сервера% {HTTP_USER_AGENT}, яка виводить юзер-агенти програм, що звертаються до сервера. Далі йде значення цієї змінної, розділене регулярним виразом ^ початку рядка.
RewriteRule виконує нашу настройку. В даному випадку ми забороняємо доступ до сервера. Робиться це за допомогою регулярних виразів початку рядка ^ і кінця рядка $, а також прапора виду дії - [F] (його значення в даному випадку -FORBIDDEN).
[OR] використовується в разі, якщо у нас кілька умов обробки дій роботів.

А тепер сама захист від роботів:

RewriteEngine on RewriteBase / RewriteCond% {HTTP_USER_AGENT} ^ Googlebot RewriteRule ^. * $ - [F]

В даному випадку робот з юзер-агентом Googlebot (скануючий робот пошукової системи Google) не зможе отримати доступ до сайту. На місці Googlebot можна написати будь-який юзер-агент програми або робота, якого ви не хочете бачити у себе на сайті. Тут же можна вказати і юзер-агенти відомих програм-збирачів спаму типу EmailSiphon або ExtractorPro.

А як заборонити доступ відразу декільком роботам?

RewriteEngine on RewriteBase / RewriteCond% {HTTP_USER_AGENT} ^ Googlebot [OR] RewriteCond% {HTTP_USER_AGENT} ^ Yandex RewriteRule ^. * $ - [F]

Просто пишемо кілька умов поспіль через директиву RewriteCond.

Як заборонити доступ роботів з певних IP?

RewriteEngine on RewriteBase / RewriteCond% {REMOTE_ADDR} ^ 200.35.120.15 $ RewriteRule ^. * $ - [F]

Міняємо умова в директиві RewriteCond, звертаючись до http-заголовку із запитом
віддаленого IP-адреси.

Як заборонити відразу кілька роботів з одного діапазону IP?

RewriteEngine on RewriteBase / RewriteCond% {REMOTE_ADDR} ^ 200.35.120. RewriteRule ^. * $ - [F]

Етап 2: робимо зручні URL

Ні для кого не секрет, що динамічні адреси сайтів можуть погано індексуватися пошуковими системами. Цьому є різні причини. Наприклад, надмірна кількість змінних в URL-рядку.

Що з цим робити?

Варіант 1: переписати движок, що складніше і довше.
Варіант 2: використовувати mod_rewrite, що швидше і ефективніше.

Скористаємося другим варіантом. Припустимо, ми маємо адресу виду:

http://site.ru/buy.php?act=1

Звичайно, було б дуже непогано мати щось виду

Як це зробити?

RewriteEngine on RewriteBase / RewriteRule ^ (. *) Buy /(.*)$ $ 1buy.php? Act = $ 2

Загальний синтаксис:

RewriteRule поточний URL перезаписуваний URL

Викликаний URL розбивається на частини. Все, що знаходиться перед "buy", плюс, все, що знаходиться після "buy /" визначається і зберігається в цих двох змінних: $ 1 і $ 2.

Етап 3: редіректи

Редирект, автоматичне умисне перенаправлення роботів і програм користувачів на будь-яку сторінку сайту або ж на інший сайт, досить часто використовується для подібних цілей. Іноді буває так, що сайт переїхав на новий домен, або ж у нього особлива система навігації, або ж сайт на різних мовах - причин може бути багато. Кожен вибирає свою, особливу, і керується їй. Розглянемо основні різновиди редиректів сервера.

301 редирект або сторінка перенесена НАЗАВЖДИ на інший домен

Метод примітний тим, що багато пошукові системи, зокрема Google, крім отримання корисної інформації про зміну адреси сторінки також переносять і все статичні показники (тІЦ, PR) цієї сторінки на нову адресу сайту (сторінки), бо, як ви вказали, сайт, з якого виробляється редирект, мабуть, більше не буде експлуатуватися

Як реалізувати 301 редирект?

Redirect 301 http://www.sait.ru/ http://www.sait1.ru/

Директива Redirect з кодом 301 якраз і відповідає за даний перенесення. Складається з 2 параметрів: перший (http://www.sait.ru/) позначає, з якої сторінки слід робити перенос, другий (http://www.sait1.ru/) - на сторінку, куди нам потрібно переміститися.

302 редирект або сторінка перенесена ТИМЧАСОВО

Власне, цим все сказано. Це не означає, що сайт більше існувати не буде. Ні в якому разі, дуже навіть буде. Просто, мабуть, сайт в даний момент знаходиться не в належному стані за стандартним адресою. Раз переадресація тимчасова, то сайт продовжує індексуватися пошуковими системами і виводитися за ключовими пошуковим запитам. Однак так відбувається не у всіх пошукових системах.
Наприклад, "Яндекс" вважає за краще не показувати сторінки з тимчасовим перенаправленням в пошуку до тих пір, поки сторінка не матиме http-статус 200, т. Е. Нормально віддаватися веб-сервером.

Seo-профі не люблять 302 редирект, видать, з огляду на те, що статичні показники з домена не передаються на новий домен. Однак як прийнято в співтоваристві професіоналів, 302 редирект - це поганий кандидат редиректу на нові домени. Використовуйте його в межах одного домену. Вже були прецеденти. Не рекомендую.

Як реалізувати 302 редирект?

Redirect 302 http://www.sait.ru/ http://www.sait1.ru/

Цей редирект від описаного мною вище відрізняє лише номер редиректу, а саме цифра 302.

чому "чорні діри" - фікція?
Згідно релятивістської міфології, "чорна діра - це область в просторі-часі, гравітаційне тяжіння якої настільки велике, що покинути її не можуть навіть об'єкти, які рухаються зі швидкістю світла (в тому числі і кванти самого світла). Кордон цієї області називається горизонтом подій, а її характерний розмір - гравітаційним радіусом. В найпростішому випадку сферично симетричною чорної діри він дорівнює радіусу Шварцшильда ".
Насправді міф про чорні діри є породженням міфу про фотоні - гарматному ядрі. Цей міф народився ще в античні часи. Математичне розвиток він отримав в працях Ісаака Ньютона у вигляді нової теорії світла. Корпускули світла приписувалася маса. З цього випливало, що при високих прискореннях вільного падіння можливий поворот траєкторії променя світла назад, по параболі, як це відбувається з гарматним ядром в гравітаційному полі Землі.
Звідси народилися казки про "радіусі Шварцшильда", "чорні діри Хокінга" та інших нестримних фантазіях пропагандистів релятивізму.
Втім, ці казки кілька древнє. У 1795 році математик П'єр Симон Лаплас писав:
"Якби діаметр світиться зірки з тією ж щільністю, що і Земля, в 250 разів перевищував би діаметр Сонця, то внаслідок притягання зірки жоден з випущених нею променів не зміг би дійти до нас, отже, не виключено, що найбільші з світяться тел з цієї причини є невидимими. " [Цитата по Брагінський В. Б., Полнарёв А. Г. Дивовижна гравітація. - М., Наука, 1985]
Однак, як з'ясувалося в 20-м столітті, фотон не володіє масою і не може взаємодіяти з гравітаційним полем як вагоме речовина. Фотон - це квантованими електромагнітна хвиля, тобто навіть не об'єкт, а процес. А процеси не можуть мати ваги, так як вони не є речовими об'єктами. Це всього-лише рух деякої середовища. (Порівняйте з аналогами: рух води, рух повітря, коливання грунту). Детальніше читайте в FAQ по ефірної фізиці .