Kompletny przewodnik po ustawianiu robotów na WordPressie

1. Co to jest plik robots.txt WordPress (i dlaczego jest potrzebny)?
2. Gdzie są zapisane WordPress txt roboty?
3. Która reguła może być zawarta w pliku robotów WordPress?
4. Jak ustawić txt robotów w WordPressie (3 metody)
5. 1. Korzystanie z wtyczki Yoast SEO
6. 2. Korzystanie z wtyczki pakietu All in One SEO
7. 3. Twórz i przesyłaj pliki WordPress robots.txt za pośrednictwem FTP
8. Jak sprawdzić plik robots.txt WordPress i przesłać go do konsoli Google Search
9. Wniosek

Aby ranking witryn wzrósł w stronach wyników wyszukiwania (SERP), należy ułatwić botom wyszukiwarek eksplorowanie ważnych stron witryny. Zainstalowanie uporządkowanego pliku robots.txt ułatwi indeksowanie ważnych stron.

W tym artykule omówimy:

1. Co to jest plik robots.txt i dlaczego ważne jest, aby zainstalować go na swojej stronie?
2. Gdzie są przechowywane pliki WordPress WordPress txt?
3. Jak stworzyć WordPressa robot.txt?
4. Jaka zasada powinna być zawarta w pliku robots.txt WordPress?
5. Jak przetestować plik robots.txt i przesłać go do Google Search Console ?

Mam nadzieję, że po przeczytaniu tego samouczka możesz skonfigurować plik robots.txt na swojej stronie WordPress.

Co to jest plik robots.txt WordPress (i dlaczego jest potrzebny)?

Po utworzeniu nowej strony internetowej wyszukiwarka wyśle minion (lub bot) „indeksować” Twoją witrynę i tworzyć mapy lub mapy wszystkich stron, które posiada Twoja witryna. Dlatego wyszukiwarki będą wiedzieć, które strony powinny być wyświetlane, gdy użytkownik wpisuje powiązane słowa kluczowe.

Po prostu strona zawiera obecnie więcej elementów i nie jest tylko stroną. Na przykład WordPress pozwala instalować wtyczki, które czasami mają także domyślne katalogi. Oczywiście nie chcesz, aby wtyczka lub katalog pojawiały się w wynikach wyszukiwania, nawet jeśli nie ma żadnego połączenia.

Plik robots.txt zawiera zestaw instrukcji dla botów wyszukiwarki. Instrukcja wydawała się zawierać powiadomienie: „To, czego szukasz, jest tutaj. Nie musisz wchodzić do innego pokoju! ” Informacje i instrukcje w tym pliku są dość jasne i łatwe do wykonania, nawet jeśli nie jesteś osobą, która rozumie problemy techniczne.

Krótko mówiąc, wyszukiwarki będą indeksować Twoją witrynę, nawet jeśli nie ma skonfigurowanego pliku robots.txt . Po prostu nie jest zbyt wydajny, jeśli nie aktywujesz tego pliku. Bez tego pliku pozwalasz botowi indeksować całą zawartość, w wyniku czego części, które chcesz ukryć, są wyświetlane w wyszukiwarce.

Ponadto, bez pliku robots.txt, pozwalasz stronie zapuścić wiele botów. Oczywiście będzie to miało negatywny wpływ na wydajność witryny. Nawet jeśli brzmi to trywialnie, nadal nie możesz przymknąć oka na współczynnik szybkości strony . Szybkość ładowania strony lub strony musi być głównym czynnikiem.

Gdzie są zapisane WordPress txt roboty?

Podczas tworzenia witryny WordPress plik wirtualny robots.txt będzie automatycznie aktywny i przechowywany w głównym folderze serwera. Na przykład Twoja witryna jest dostępna za pośrednictwem witryny yourfakewebsite.com. Z pewnością możesz uzyskać dostęp do swojej witryny na stronie internetowej.com/robots.txt i zobaczyć ten plik:

User-agent: * Disallow: / wp-admin / Disallow: / wp-includes /

Powyższy kod jest przykładem najbardziej podstawowego pliku robots.txt . Znak po agencie użytkownika: pokazuje, który bot stosuje regułę poniżej. Gwiazdka oznacza, że ​​reguła jest uniwersalna i może być stosowana do wszystkich botów. W tym przypadku plik informuje bota, że ​​bot nie może wejść i zbadać katalogu wp-admin i wp-includes . To oczywiście ma sens, ponieważ dwa katalogi zawierają wrażliwe pliki.

Nie ma możliwości, będzie czas, kiedy chcesz dodać więcej reguł do swojego pliku. Zanim to jednak zrobisz, najpierw zrozum, że robots.txt jest plikiem wirtualnym . Zwykle roboty WordPress txt znajdują się w katalogu głównym , który czasami nazywany jest public_html lub www (lub nazywany po Twojej stronie):

Po prostu, plik robotów WordPress txt, który jest ustawiony domyślnie, nie jest dostępny z żadnego katalogu. W rzeczywistości plik może działać i być używany, ale jeśli chcesz dokonać pewnych zmian, musisz utworzyć własny plik i przesłać go do folderu głównego jako zamiennik .

Omówimy kilka sposobów na stworzenie nowego robota.Txt WordPress. Ale na razie omówimy zasady, które należy stosować w pierwszej kolejności.

Która reguła może być zawarta w pliku robotów WordPress?

Wcześniej zobaczyłeś przykład pliku robots.txt utworzonego dla WordPress. Plik zawiera tylko dwie krótkie reguły, ale większość witryn aktywuje więcej. Teraz omówimy dwa pliki robots.txt i ich odpowiednie funkcje.

Oto nasz pierwszy przykład robots.txt w WordPressie:

User-agent: * Allow: / # Disallowed Sub-Directories Disallow: / checkout / Disallow: / images / Disallow: / forum /

Ten plik jest popularnym robots.txt dla witryny internetowej wyposażonej w forum. Czasami wyszukiwarki indeksują każdy wątek na forum. Jednak zdarzają się sytuacje, w których chcesz aktywować plik (oczywiście zależy to od rodzaju tworzonego forum). Jeśli jest wyłączony, Google nie indeksuje setek wątków, które są wypełniane tylko przez użytkowników z kilkoma komentarzami. Ponadto możesz także aktywować regułę, aby uniknąć niektórych pod-forum, i pozwolić wyszukiwarkom „przeszukać” resztę.

Zobacz linię lub linię Zezwól: / nad plikiem. Linia informuje bota, że ​​bot może indeksować wszystkie strony internetowe, z wyjątkiem pewnych części, które wcześniej ustawiłeś. Ponadto te reguły, które ustawiliśmy jako uniwersalne (z gwiazdką), są takie same, jak te zrobione przez wirtualny plik txtWordPress robota.

Oto kolejny przykład robots.txt WordPress:

User-agent: * Disallow: / wp-admin / Disallow: / wp-includes / User-agent: Bingbot Disallow: /

W tym pliku domyślnie ustawiamy te same reguły, co reguła WordPress. Dodaliśmy również nowy zestaw reguł, które blokują Bot wyszukiwania Binga więc nie może indeksować naszej strony. Wiemy już z nazwy, że Bingbot to nazwa bota.

Możesz dowiedzieć się, które boty wyszukiwarki mogą uzyskać dostęp do Twojej witryny, a które nie. W praktyce Bingbot nie jest niebezpieczny (nawet tak dobry jak Googlebot). Po prostu musisz być introspekcyjny, ponieważ wciąż istnieje wiele niebezpiecznych i szkodliwych botów.

Niestety boty nie zawsze postępują zgodnie z instrukcjami podanymi w pliku robots.txt . Powinieneś wiedzieć, że nawet jeśli większość botów będzie postępować zgodnie z instrukcjami zawartymi w pliku robots.txt, nie zmusisz bota natychmiast do zastosowania się do instrukcji. „Prosisz” tylko o przestrzeganie instrukcji.

Mimo że istnieje wiele informacji o tym, co jest dozwolone, a co zablokowane w dostępie do Twojej witryny, pamiętaj, że im mniej reguł, tym lepsze są pożądane wyniki. Oto przykład naszej rekomendacji, jak powinien wyglądać Twój pierwszy plik robots.txt :

User-Agent: * Zezwól: / wp-content / uploads / Disallow: / wp-content / plugins /

Ogólnie WordPress zablokuje dostęp do katalogu wp-admin i wp-includes . Ale ostatnio opcja nie jest już wykonywana . Ponadto, jeśli dodasz metadane do obrazu w celu optymalizacji pod kątem wyszukiwarek (SEO), nie możesz go wyłączyć, aby bot nie mógł indeksować informacji na stronie. Zamiast tego dwie powyższe zasady obejmują to, czego potrzebują najprostsze strony internetowe.

Po prostu wszystko, co chcesz umieścić w pliku robots.txt , zależy od witryny i Twoich potrzeb.

Jak ustawić txt robotów w WordPressie (3 metody)

Po podjęciu decyzji, co chcesz dołączyć do pliku robots.txt , następnym krokiem jest utworzenie pliku. Robots.txt WordPress można edytować za pomocą wtyczek lub metod ręcznych. Tutaj omówimy, jak utworzyć robot.txt WordPress z dwiema najczęściej używanymi wtyczkami i krokami, aby go załadować.

1. Korzystanie z wtyczki Yoast SEO

Nie trzeba już długo przedstawiać, większość użytkowników musi już wiedzieć, co to jest Yoast SEO . Ta wtyczka jest wtyczką WordPress SEO, która jest najczęściej używana do optymalizacji postów i stron przy użyciu określonych słów kluczowych. Ponadto wtyczka Yoast SEO zapewnia również pomoc, jeśli chcesz poprawić czytelność treści. Czytelność pokazuje, czy użytkownik wygodnie czyta treść.

Yoast SEO to plugin, którego często używamy ze względu na jego łatwość. Z tego powodu używamy tej wtyczki do tworzenia pliku robots.txt . Po Wtyczka jest zainstalowana i aktywowana , otwórz kartę SEO> Narzędzia na pulpicie nawigacyjnym i poszukaj opcji Edytor plików :

Kliknij link Edytor plików, a zostaniesz przekierowany na nową stronę, na której możesz edytować plik .htaccess bez konieczności wychodzenia z pulpitu nawigacyjnego. Dostępna jest również opcja pomocy Utwórz plik robots.txt :

Kliknij opcję, a zostaniesz przekierowany do nowego edytora, w którym możesz bezpośrednio zmienić plik robots.txt . Pamiętaj, że Yoast SEO ma własną domyślną regułę, która zastąpi lub zastąpi istniejące pliki wirtualne robots.txt .

Za każdym razem, gdy dodasz lub usuniesz regułę, pamiętaj, aby zawsze klikać Zapisz zmiany w robots.txt:

2. Korzystanie z wtyczki pakietu All in One SEO

Jak ustawić txt robota w WordPressie można również wykonać za pomocą wtyczki All in One SEO Pack . Ta wtyczka oferuje większość funkcji, które są również dostępne w wtyczce Yoast SEO. Jednak są ludzie, którzy wybierają wtyczkę Yoast, ponieważ jest lżejsza. Dopóki nadal chcesz aktywować robots.txt , tworzenie plików za pomocą tej wtyczki jest bardzo proste.

Po aktywuj wtyczkę , otwórz All in One SEO> Menedżer funkcji za pomocą pulpitu nawigacyjnego. Na stronie znajdziesz Robots.txt z opcją Aktywuj tuż poniżej. Kliknij opcję:

Nowa karta Robots.txt pojawi się w menu All in One SEO . Jeśli klikniesz kartę, zobaczysz kilka opcji dodawania nowych reguł do plików, zapisywania wprowadzonych zmian lub ich jednoczesnego usuwania.

Pamiętaj, że nie możesz bezpośrednio zmienić pliku robots.txt za pomocą tej wtyczki. W odróżnieniu od Yoast SEO, pliki w tej wtyczce są wyszarzone, co pozwala na wpisywanie dowolnych informacji:

Dodanie nowej reguły nie jest trudne, więc nie musisz się martwić o popełnienie fatalnego błędu. Co więcej, wtyczka All in One SEO Pack oferuje również funkcje blokowania „szkód” dla botów. Dostęp do tej funkcji można uzyskać za pomocą karty SEO All in One :

Jeśli nie chcesz instalować i aktywować wtyczki, możesz ręcznie utworzyć plik robots.txt .

3. Twórz i przesyłaj pliki WordPress robots.txt za pośrednictwem FTP

Jak zrobić plik txt jest bardzo prosty. Otwórz często używany edytor tekstu (na przykład Notatnik lub TextEdit) i wpisz kilka linii. Zapisz plik pod dowolną nazwą iw formacie pliku txt . Widzisz, jak łatwo zrobić plik txt ? Istnieje więc możliwość, że nie chcesz instalować wtyczki do edycji pliku robots.txt na WordPressie.

Poniżej przedstawiono przykład jednego pliku:

Na przykład w tym samouczku zapisujemy plik bezpośrednio na komputerze. Po utworzeniu i zapisaniu pliku połącz się ze stroną internetową przez FTP . Jeśli nie wiesz lub nie wiesz jak, mamy artykuł na ten temat jak używać FileZilla dla początkujących .

Po połączeniu się z witryną otwórz folder public_html, a następnie prześlij plik robots.txt z komputera na serwer. Aby przesłać plik, kliknij plik prawym przyciskiem myszy za pomocą lokalnego nawigatora aplikacji FTP lub po prostu przeciągnij i upuść :

Proces przesyłania plików nie trwa długo. Nawet sposób, w jaki ustawienia txt w podręczniku WordPress są tak proste, jak przy użyciu wtyczki.

Jak sprawdzić plik robots.txt WordPress i przesłać go do konsoli Google Search

Po utworzeniu i przesłaniu pliku robots.txt WordPress możesz użyć Google Search Console, aby sprawdzić błędy. Search Console to kolekcja narzędzi Google, które monitorują wyświetlanie treści w wynikach wyszukiwania. Jednym z tych narzędzi jest program sprawdzający robots.txt, do którego można uzyskać dostęp po zalogowaniu się do konsoli i otwarciu karty Tester robots.txt :

W tej zakładce zobaczysz kolumnę edytora, której możesz użyć do dodania kodu robots.txt do WordPress. Następnie kliknij opcję Prześlij , która znajduje się tuż pod kolumną. Aby ręcznie przesłać kod pliku, kliknij opcję Zapytaj Google, aby zaktualizować :

Platforma sprawdzi Twój plik, czy wystąpił błąd, czy nie. Jeśli wystąpi błąd, platforma dostarczy powiadomienie lub powiadomienie. Ale jesteśmy pewni, że pojawi się błąd po utworzeniu pliku robots.txt WordPress jest bardzo mały, ponieważ przeczytałeś wskazówki i kroki powyżej.

Wniosek

Aby zwiększyć ekspozycję witryny, ustaw bot wyszukiwarki na indeksowanie naprawdę istotnych informacji. Jak wyjaśniliśmy wcześniej, dobrze skonfigurowany plik robots.txt WordPress będzie określał sposób, w jaki boty wchodzą w interakcję z witryną. W ten sposób boty będą nakłaniać użytkowników do wyszukiwania bardziej informacyjnych i odpowiednich treści.

Czy są pytania związane z ustawianiem robota na WordPressie? Daj nam znać za pomocą poniższej kolumny komentarzy.