Поўнае кіраўніцтва па Robots Exclusion Standard Усталяванне ў WordPress

1. Што такое WordPress файл robots.txt (і чаму гэта неабходна)?
2. Дзе робаты тэкставы файл WordPress Захаваны?
3. Правіла Усё можа быць уключана ў файл robots.txt WordPress?
4. Робаты Стандарт выключэнняў Налады ў WordPress (3 спосабу)
5. 1. З дапамогай плагіна SEO Yoast
6. 2. Выкарыстоўваючы убудова Усё ў адным SEO абнаўлення
7. 3. Стварэнне і загрузка файлаў праз FTP WordPress robots.txt
8. Як праверыць файл robots.txt WordPress і адправіць у Google Search Console
9. заключэнне

Для таго, каб рэйтынг сайта вырас у Англиском рухавіка Старонкі (SERP), вы павінны палегчыць пошукавай сістэмы «ботамі», каб даследаваць старонкі сайта маюць важнае значэнне. Далучыўшы файл robots.txt структураваная, гэта будзе прасцей індэксаванне бот важная старонка ў пытанні.

У гэтым артыкуле мы абмяркуем:

1. Што гэта такое і чаму гэта важны файл robots.txt усталяваны на вашым сайце?
2. У якім робаты тэкставы файл захоўваецца WordPress?
3. Як стварыць robots.txt WordPress?
4. Правіла аб тым, што павінна быць уключана ў WordPress robots.txt?
5. Як праверыць файл robots.txt і прадставіць яго Google Search Console ?

Спадзяюся , пасля чытання гэтага кіраўніцтва, вы можаце наладзіць файл robots.txt на вашым сайце WordPress.

Што такое WordPress файл robots.txt (і чаму гэта неабходна)?

Пры стварэнні новага вэб-сайта, пошукавая сістэма адправіць мін'ёнаў (або боты) каб «сканаваць» ваш сайт і стварыць карту або карту ўсіх старонак, якія знаходзяцца ва ўласнасці вашага сайта. Такім чынам, пошукавая сістэма будзе ведаць, якія старонкі павінны з'явіцца, калі карыстальнік ўводзіць ключавыя словы, звязаныя.

Аднак, вэб - сайт у цяперашні час мае больш элементаў , а не толькі старонкі. Напрыклад, WordPress дазваляе ўсталяваць убудову, які часам таксама ёсць каталог па змаўчанні. Вядома, вы не хочаце, каб уключыць або каталог адлюстроўваецца ў выніках пошуку, калі няма абсалютна ніякага дачынення.

Файл robots.txt ўтрымлівае набор інструкцый для пошукавых ботаў. Дырэктыва, паколькі гэта дае мне: «Тое, што вы шукаеце тут. Вам не трэба ісці ў іншы пакой! ». Інфармацыя і інструкцыі ў гэтым файле цалкам зразумела і лёгка зрабіць, нават калі вы не той, хто разумее тэхнічныя пытанні.

ня Карацей кажучы, пошукавыя сістэмы будуць «паўзці» ваш сайт , нават калі там не стварыць файл robots.txt. Толькі, гэта не эфектыўна, калі вы не активируете гэты файл. Без гэтага файла вы дазваляеце ботам індэксаваць ўсе ўтрыманне і, як следства, тыя часткі, якія вы хочаце схаваць нават з'яўляцца ў пошукавых сістэмах.

Акрамя таго, пры адсутнасці файла robots.txt, вы дазваляеце сайт у-Crowl шмат ботаў. Вядома, гэта можа негатыўна паўплываць на прадукцыйнасць вашага сайта. Хоць гэта гучыць банальна, вы да гэтага часу не можаце зачыняць фактар хуткасці старонкі вачэй. Сайт або старонка хуткасць загрузкі павінна быць асноўным фактарам.

Дзе робаты тэкставы файл WordPress Захаваны?

Да таго часу , вы ствараеце WordPress сайт, аўтаматычна віртуальны файл robots.txt будзе актыўны і знаходзіцца ў галоўным сэрвэры тэчку. Напрыклад, ваш сайт даступны праз yourfakewebsite.com. Можна , вядома , yourfakewebsite.com/robots.txt доступ і праглядаць гэтыя файлы:

User-Agent: * Disallow: / WP-адміністратара / Disallow: / WP-уключае /

Прыведзены вышэй код з'яўляецца прыкладам самага асноўнага файла robots.txt. Сімвалы пасля User-Agent: паказвае , дзе боты, ужываючы правіла ніжэй. Зорачка азначае, што rulenya з'яўляецца універсальным і можа быць ужыты да ўсіх робатам. У гэтым выпадку файл інфармуе бот , што робаты не можа ўвайсці і даследаваць WP-адміністратар і WP-уключае ў сябе. Гэта, вядома, мае сэнс, так як каталог змяшчае канфідэнцыйныя файлы.

Была магчымасць, будзе момант, калі вы хочаце дадаць некалькі правілаў да самога файла. Аднак, перш чым зрабіць гэта, спачатку зразумець , што robots.txt форму віртуальных файлаў. Як правіла, робаты TXT WordPress знаходзіцца ў каранёвым каталогу, які часам называюць public_html або WWW (ці ім імя вашага сайта):

Тым не менш, робаты тэкставы файл, які усталёўваецца па змаўчанні WordPress не могуць быць даступныя з любога каталога. На самай справе, файл можа функцыянаваць і выкарыстоўвацца, але калі вы хочаце , каб унесці пэўныя змены, вы павінны стварыць файл самастойна і загрузіць яго ў каранёвую тэчку ў якасці замены.

Мы абмяркуем некалькі спосабаў зрабіць новы WordPress robots.txt. Але зараз мы будзем абмяркоўваць правілы, якія варта выкарыстоўваць у першую чаргу.

Правіла Усё можа быць уключана ў файл robots.txt WordPress?

Раней вы бачылі прыклад файла robots.txt , створаны для WordPress. Файл утрымліваў толькі дзве кароткія правілы, але большасць вэб-падтрымкай больш чым. Цяпер мы разгледзім два розных файла robots.txt і іх адпаведныя функцыі.

Вось наш першы прыклад WordPress robots.txt:

User-Agent: * Allow: / # Забароненыя падкаталогаў Disallow: / Checkout / Disallow: / малюнкаў / Disallow: / Форум /

Гэта агульны файл robots.txt на вэб - сайце , які прыходзіць з форуму. Часам пошукавыя сістэмы будуць індэксаваць кожны струмень у форуме. Аднак, ёсць моманты, калі вы хочаце, каб актываваць файл (гэта, вядома, залежыць ад тыпу паведамлення, якое вы ствараеце). Калі выключана, Google будзе індэксаваць сотні патокаў запаўняюцца толькі карыстальнікам з невялікім каментаром. Акрамя таго, вы можаце таксама актываваць правіла, каб пазбегнуць пэўных суб-форум, і хай «паўзці» адпачынак у пошукавых сістэмах.

См лінія або лінія Allow: / , які знаходзіцца ў верхняй частцы файлаў. Line бот паведамляе, што бот можа сканаваць кожную старонку вэб-сайта, за выключэннем некаторых дэталяў, якія вы вызначылі, за выключэннем. Акрамя таго, некаторыя правілы, якія мы ставім перад сабой, каб быць універсальнымі (са зорачкай) такое ж, як і ў віртуальнага файл txtWordPress робата.

Вось яшчэ адзін прыклад WordPress robots.txt:

User-Agent: * Disallow: / WP-адміністратара / Disallow: / WP-уключае / User-Agent: Bingbot Disallow: /

У гэтым файле мы ўстаноўкі такое ж правіла, як правіла WordPress рабіць па змаўчанні. Мы таксама дадалі шэраг новых правілаў, якія блакуюць Бінг пошук бота таму ён не можа сканаваць наш сайт. З назвы ў адзіночку мы ўжо ведаем, што Bingbot гэтае імя бота.

Вы можаце даведацца, якія пошукавых ботаў можа атрымаць доступ да вэб-сайт і якія не з'яўляюцца. На практыцы Bingbot бясшкодныя (нават не так добра, як Googlebot). Тым ня менш, вы павінны ўнікаць , таму што ёсць шмат небяспечных і шкодных ботаў там.

На жаль, бот не заўсёды прытрымлівацца інструкцый , прыведзеных у файле robots.txt. Вы павінны ведаць , што , хоць большасць бот будзе прытрымлівацца інструкцый , якія былі прадастаўлены ў файле robots.txt, не абавязкова прымушаць бота падпарадкоўвацца інструкцыям. Вы проста «папрасіць», каб прытрымлівацца інструкцыям.

Хоць ёсць шмат інфармацыі пра тое, што дазволена і што блакуецца ня атрымаць доступ да вэб-сайт, памятаеце, што чым менш правілы, то жаданы вынік, тым лепш. Вось прыклад з нашых рэкамендацый , як першы файл robots.txt , вы павінны паказаць:

User-Agent: * Allow: / WP-ўтрыманне / даданні / Disallow: / WP-ўтрыманне / ўбудовы /

Як правіла, WordPress будзе блакаваць доступ да WP-адміністратара і смецце-ўключае ў сябе. Тым не менш, у апошні час, не варыянт больш не зроблена , Акрамя таго, калі вы дадаеце метададзеныя выявы з мэтай пошукавай аптымізацыі (SEO), то вы не можаце адключыць яго проста так робаты не могуць сканаваць інфармацыю на старонках сайта. Замест гэтага, гэтыя два правілы вышэй накрывак, неабходных вялікай часткай сайта простыя.

Проста ўсе, што вы хочаце ўключыць у файл robots.txt залежыць ад месца і вашых патрэбаў.

Робаты Стандарт выключэнняў Налады ў WordPress (3 спосабу)

Пасля прыняцця рашэння аб тым , што ўключаць у файл robots.txt, то наступны крок заключаецца ў стварэнні файла. WordPress robots.txt можна рэдагаваць , альбо з дапамогай убудоў або ўручную. Тут мы абмяркуем, як стварыць robots.txt WordPress убудова з двума найбольш шырока выкарыстоўваюцца і загрузіць крокі.

1. З дапамогай плагіна SEO Yoast

Ня трэба многословные ўступлення, большасць карыстальнікаў ўжо не ведаюць, што гэта такое Yoast SEO , Гэты убудова уяўляе сабой убудова WordPress SEO, які найбольш шырока выкарыстоўваецца для аптымізацыі праводкі і старонак, выкарыстоўваючы некаторыя канкрэтныя ключавыя словы. Акрамя таго, убудова Yoast SEO таксама дапаможа , калі вы хочаце , каб палепшыць чытальнасць кантэнту. Чытальнасць пазначыць , з'яўляецца Ці ці не карыстальніка камфортнага чытання кантэнту.

Yoast SEO убудова з'яўляецца тое, што часта мы выкарыстоўваем з-за сваёй прастаты. Па гэтай прычыне, мы скарыстацца гэтым убудовай , каб стварыць файл robots.txt. пасля усталяваны ўбудова і актываваныя , Перайдзіце на ўкладку SEO> Інструменты ў прыборнай панэлі і знайсці рэдактар варыянт файла:

Націсніце на спасылку Рэдактар файлаў , і вы будзеце перанакіраваны на новую старонку , дзе вы можаце рэдагаваць файл .htaccess , не маючы , каб выйсці з прыборнай панэлі. Існуе таксама варыянт дапаможа стварыць файл robots.txt:

Націсніце , што і вы будзеце перанакіраваны на новы рэдактар , дзе вы можаце змяніць файл robots.txt непасрэдна. Майце на ўвазе, Yoast SEO мае свае ўласныя правілы па змаўчанні , які будзе адмяняць або перазапісаць Virtua файл robots.txt , які ўжо існуе.

Кожны раз , калі вы дадаеце або выдаліць правіла, ня забывайце заўсёды націсніце кнопку Захаваць змены ў файл robots.txt:

2. Выкарыстоўваючы убудова Усё ў адным SEO абнаўлення

Настройка робатаў TXT WordPress можна выкарыстоўваць убудова Усё ў адным SEO абнаўлення , Гэты убудова прапануе большасць функцый, якія таксама існуюць у убудове Yoast SEO. Тым не менш, ёсць некаторыя людзі, якія выбіраюць для больш лёгкага плагіна Йоаст. Да таго часу , як вы хочаце ўключыць robots.txt, ствараць файлы з гэтага плагіна лёгка.

пасля актываваць убудова Адчыні Усё ў адным SEO> Менеджэр функцый праз панэль кіравання. Унутры гэтых старонках вы знойдзеце Robots.txt з опцыяй Activate , якая знаходзіцца прама пад ім. Націсніце, каб:

Robots.txt з'явіцца новая ўкладка ў меню Усё ў адным SEO. Калі ўкладка будзе націснутая, то вы ўбачыце некалькі варыянтаў для дадання новага правілы ў файл, захаваць змены, або выдаліць яго адразу.

Майце на ўвазе , што вы не можаце наўпрост змяніць файл robots.txt з дапамогай гэтага плагіна. У адрозненне ад Йоаст SEO, файлы гэтага плагіна на-шэрага колеру, так што дазваляе ўвесці ўсе, што вы хочаце:

Дадаць новую правілы не складана, так што вам не трэба турбавацца, што б зрабіць фатальную памылку. Акрамя таго, убудова Усё ў адным SEO абнаўлення таксама прапануе магчымасць блакаваць бот «шкодны». Гэтая функцыя можа быць даступная праз ўкладку Усё ў адным SEO:

Калі вы не хочаце , каб усталяваць і актываваць убудова, вы можаце стварыць файл robots.txt ўручную.

3. Стварэнне і загрузка файлаў праз FTP WordPress robots.txt

Як стварыць тэкставы файл лёгка. Open часта выкарыстоўваецца тэкставы рэдактар ​​(напрыклад, Нататнік або TextEdit) і ўвядзіце некалькі радкоў. Захавайце яго з любым імем і ў тэкставым фармаце файл. Глядзіце, як лёгка гэта тэкставы файл? Такім чынам, можа быць магчымасць , калі вы не хочаце , каб ўсталяваць убудову для рэдагавання файла robots.txt для WordPress.

Вось прыклад аднаго з файлаў:

У якасці прыкладу для гэтага ўроку, мы захоўваем файл непасрэдна да кампутара. Пасля стварэння і захавання файлаў, падключэнне да вэб-сайту праз FTP , Калі вы не ведаеце, ці не разумеюць, як у нас ёсць артыкул аб як выкарыстоўваць FileZilla для пачаткоўцаў ,

Пасля падлучэння да сайта, перайдзіце ў тэчку public_html, а затым загрузіць файл robots.txt з кампутара на сервер. Каб загрузіць файл, пстрыкніце правай кнопкай мышы на файле з дапамогай лакальнага прыкладання навігатар FTP або проста перацягнуць і падзенне:

Працэс загрузкі файла не зойме шмат часу. Нават тое, як выключэнне Стандартныя робаты ўстаноўкі ў гэтым кіраўніцтве WordPress, як лёгка, як пры выкарыстанні ўбудовы.

Як праверыць файл robots.txt WordPress і адправіць у Google Search Console

Пасля таго, як файл robots.txt створаны і загружаны WordPress, вы можаце выкарыстоўваць інструменты для вэб-майстроў Google, каб праверыць наяўнасць памылак. Search Console ўяўляе сабой набор інструментаў Google будзе сачыць, каб убачыць ўтрыманне ў выніках пошуку. Адным з іх з'яўляецца robots.txt інструмент праверкі , які можа быць даступны пасля ўваходу ў кансоль і адкрыйце ўкладку robots.txt Tester:

Унутры гэтай ўкладцы вы ўбачыце рэдактар слупка , які можа быць выкарыстаны для дадання кода robots.txt файл WordPress. Пасля гэтага абярыце опцыю Submit , якая знаходзіцца прама пад калонкай. Каб адправіць файлы ўручную код, абярыце опцыю Задаць Google Абнаўленне:

Платформа будзе правяраць ваш файл, калі ёсць памылка ці не. Калі ёсць памылка, платформа будзе прадастаўляць апавяшчэнне або апавяшчэнне. Але мы лічым, магчымасць памылкі з'яўляецца пасля стварэння файла robots.txt WordPress вельмі мала , таму што вы чыталі парады і дзеянні , апісаныя вышэй.

заключэнне

Для таго, каб ўздзеяння сайта ружы, набор для пошукавых ботаў, поўзаюць інфармацыю, якая сапраўды актуальная. Як мы ўжо тлумачылі раней, WordPress файл robots.txt , які быў настроены належным чынам будзе ўсталяваны бот , як узаемадзейнічаць з вашым сайтам. Такім чынам, бот будзе накіроўваць карыстальніка для пошуку кантэнту, які з'яўляецца больш інфарматыўным і актуальным.

Ці ёсць якія-небудзь пытанні аб тым, як усталяваць робат Txt ў WordPress? Дайце нам ведаць, праз поле для каментароў ніжэй.