Jak zoptymalizować plik Robots.txt WordPress dla SEO

Zoptymalizowałeś plik WordPress Robots.txt dla SEO? Jeśli nie, ignorujesz ważny aspekt SEO. Plik Robots.txt odgrywa znaczącą rolę w SEO Twojej witryny. Masz szczęście, że WordPress automatycznie utworzy dla Ciebie plik Robots.txt. Posiadanie tego pliku to połowa bitwy. Musisz upewnić się, że plik Robots.txt jest zoptymalizowany, aby uzyskać pełne korzyści.

Plik Robots.txt mówi robotom wyszukiwarek, które strony mają być indeksowane i jakich stron unikać. W tym poście pokażę, jak edytować i optymalizować plik Robots.txt w WordPressie.

Jak zoptymalizować plik Robots.txt WordPress dla SEO?

Co to jest plik Robots.txt?

Zacznijmy od podstawowego. Plik Robots.txt to plik tekstowy, który nakazuje botom wyszukiwarki przeszukiwanie i indeksowanie witryny. Za każdym razem, gdy boty wyszukiwarek przychodzą na Twoją stronę, czytają plik robots.txt i postępują zgodnie z instrukcjami. Używając tego pliku, możesz określić boty, które części witryny mają być indeksowane, a których unikać. Jednak brak robots.txt nie powstrzyma botów wyszukiwarki przed indeksowaniem i indeksowaniem witryny.

Edycja i zrozumienie Robots.txt w WordPress

Powiedziałem już, że każda witryna WordPress ma domyślny plik robots.txt w katalogu głównym. Możesz sprawdzić robots.txt, przechodząc do http://twojadomena.com/robots.txt. Na przykład możesz sprawdzić nasz plik robots.txt tutaj: https://roadtoblogging.com/robots.txt

Jeśli nie masz pliku robots.txt, musisz go utworzyć. To bardzo łatwe do zrobienia. Wystarczy utworzyć plik tekstowy na komputerze i zapisać go jako robots.txt i przesłać go do katalogu głównego. Możesz przesłać go przez Menedżer FTP lub cPanel File Manager .

Zobaczmy teraz, jak edytować plik robots.txt.

Możesz edytować plik robots.txt za pomocą Menedżera FTP lub Menedżera plików cPanel. Ale jest to czasochłonne i trochę trudne.

Najlepszym sposobem edycji pliku Robots.txt jest użycie wtyczki. Istnieje kilka wtyczek WordPress robots.txt. wolę Yoast SEO . To jest najlepsza wtyczka SEO dla WordPressa. Udostępniłem już jak skonfigurować SEO Yoast .

Yoast SEO pozwala modyfikować plik robots.txt z obszaru administracyjnego WordPress. Jeśli jednak nie chcesz używać wtyczki Yoast, możesz użyć innych wtyczek, takich jak WP Roboty Txt .

Raz zainstalowany i aktywowany plugin Yoast SEO, przejdź do panelu administracyjnego WordPress> SEO> Narzędzia.

Jak zoptymalizować plik Robots.txt WordPress dla SEO

Następnie kliknij „Edytor plików”.

yOst Plugin SEO

Następnie kliknij „Utwórz plik robots.txt”.

Edycja pliku robots.txt

Następnie otrzymasz edytor plików Robots.txt. Możesz tutaj skonfigurować plik robots.txt.

Pliki

Przed edycją pliku musisz zrozumieć polecenia tego pliku. Głównie są trzy polecenia.

• User-agent - określa nazwę botów wyszukiwarki, takich jak Googlebot lub Bingbot. Możesz użyć gwiazdki (*), aby odnieść się do wszystkich botów wyszukiwarki.
• Disallow - nakazuje wyszukiwarkom nie indeksować i indeksować niektórych części witryny.
• Zezwól - instruuje wyszukiwarki, aby indeksowały i indeksowały części, które chcesz indeksować.

Oto przykład pliku Robots.txt.

User-agent: * Disallow: / wp-admin / Allow: /

Ten plik robots.txt nakazuje wszystkim robotom wyszukiwarek indeksowanie witryny. W drugiej linii mówi robotom wyszukiwarek, aby nie indeksowały / wp-admin / part. W trzeciej linii instruuje boty wyszukiwarek do indeksowania i indeksowania całej witryny.

Konfiguracja i optymalizacja pliku Robots.txt dla SEO

Prosta błędna konfiguracja w pliku Robots.txt może całkowicie dezindeksować Twoją witrynę z wyszukiwarek. Na przykład, jeśli użyjesz polecenia „Disallow: /” w pliku Robots.txt, Twoja strona zostanie usunięta z wyszukiwarek. Więc musisz być ostrożny podczas konfiguracji.

Inną ważną rzeczą jest optymalizacja pliku Robots.txt dla SEO. Zanim przejdę do najlepszych praktyk SEO Robots.txt, chciałbym ostrzec Cię o niektórych złych praktykach.

• Nie używaj pliku Robots.txt do ukrywania treści o niskiej jakości. Najlepszą praktyką jest używanie metatagu noindex i nofollow. Możesz to zrobić za pomocą wtyczki Yoast SEO.
• Nie używaj pliku Robots.txt do zatrzymania wyszukiwarek w celu indeksowania kategorii, tagów, archiwów, stron autorów itp. Możesz dodać metatagi nofollow i noindex do tych stron, używając wtyczki Yoast SEO.
• Nie używaj pliku Robots.txt do obsługi duplikatów treści. Istnieją inne sposoby.

Zobaczmy teraz, jak możesz uczynić plik Robots.txt przyjaznym dla SEO.

1. Najpierw musisz określić, które części witryny nie chcą indeksować robotów wyszukiwarek. Preferuję niedozwolenie / wp-admin /, / wp-content / plugins /, /readme.html, / trackback /.
2. Dodanie „Zezwól: /” w pliku Robots.txt nie jest tak ważne, ponieważ roboty i tak indeksują Twoją witrynę. Ale możesz go użyć dla konkretnego bota.
3. Dobrą praktyką jest również dodawanie map witryn do pliku Robots.txt. Czytać: Jak utworzyć mapę witryny

Oto przykład idealnego pliku Robots.txt dla WordPress.

User-agent: * Disallow: / wp-admin / Disallow: / wp-content / plugins / Disallow: /readme.html Disallow: / trackback / Disallow: / go / Allow: /wp-admin/admin-ajax.php Zezwalaj : / wp-content / uploads / Sitemap: https://roadtoblogging.com/post-sitemap.xml Mapa strony: https://roadtoblogging.com/page-sitemap.xml

Możesz sprawdzić plik Robots.txt RTB tutaj: https://roadtoblogging.com/robots.txt

Testowanie pliku Robots.txt w Narzędziach Google dla webmasterów

Po zaktualizowaniu pliku Robots.txt musisz przetestować plik Robots.txt, aby sprawdzić, czy aktualizacja nie ma wpływu na zawartość.

Możesz użyć Google Search Console aby sprawdzić, czy nie ma „błędu” lub „ostrzeżenia” dla pliku Robots.txt. Zaloguj się do Google Search Console i wybierz witrynę. Następnie przejdź do opcji Przeszukaj> robots.txt Tester i kliknij przycisk „Prześlij”.

Google Search Console

Pojawi się okno. Po prostu kliknij przycisk „Prześlij”.

Plik aktualizacji Google

Następnie ponownie załaduj stronę i sprawdź, czy plik został zaktualizowany. Aktualizacja pliku Robots.txt może zająć trochę czasu.

Jeśli jeszcze się nie zaktualizował, możesz wprowadzić kod pliku Robots.txt w polu, aby sprawdzić, czy są jakieś błędy lub ostrzeżenia. Pokaże tam błędy i ostrzeżenia.

Kod pliku Robots.txt

Jeśli zauważysz jakieś błędy lub ostrzeżenia w pliku robots.txt, musisz to naprawić, edytując plik robots.txt.

Końcowe przemyślenia

Mam nadzieję, że ten post pomógł ci zoptymalizować plik robots.txt WordPress. Jeśli masz jakieś wątpliwości, zapytaj nas za pomocą komentarzy.

Jeśli jednak chcesz, aby Twój blog WordPress był przyjazny dla SEO, możesz przeczytać nasz post na stronie Jak skonfigurować wtyczkę WordPress Yoast SEO Plugin .

Jeśli uznasz ten post za pomocny, pomóż mi, udostępniając ten post na Facebooku, Twitterze lub Google+.