Przewodnik po korzystaniu z pliku robots.txt

Procédure

Przewodnik po korzystaniu z pliku robots.txt

Jeśli dopiero zaczynasz przygodę z SEO, musisz utworzyć plik robots.txt dla swojej witryny.
Ten samouczek pokaże ci, do czego służy plik robots.txt i jak możesz go użyć, aby poprawić swoje SEO.

Czym jest plik robots.txt?

Robots.txt to prosty plik tekstowy, który należy utworzyć i umieścić w katalogu głównym witryny, aby poinformować pająki wyszukiwarek o dostępie do różnych stron internetowych w witrynie.

Jak działa plik robots.txt:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: skrót od Search Engine Result Page (strona wyników wyszukiwania).

Pliku robots.txt można użyć do:

• Sprawić, by roboty wyszukiwarek ignorowały zduplikowane strony w Twojej witrynie
• nie indeksować niektórych wewnętrznych stron witryny (np. panelu administracyjnego lub stron zawierających poufne informacje)
• ograniczyć robotom indeksowanie określonych części witryny lub całej witryny
• Zakazać robotom indeksowania określonych plików w witrynie, takich jak obrazy i pliki PDF.

Przykład dyrektyw robots.txt

Jeśli chcesz uniemożliwić robotom odwiedzanie Twojej witryny i nie być kierowanym przez wyszukiwarki, użyj następującego kodu:

User-agent: * Disallow: /

Można również uniemożliwić robotom analizowanie części witryny, jednocześnie zezwalając im na analizowanie innych sekcji. Poniższy przykład mówi wyszukiwarkom i pająkom, aby nie skanowały folderu wp-admin, folderu tmp, folderu prywatnego i wszystkich elementów w tych folderach w Twojej witrynie.

User-agent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /prive/

W powyższym przykładzie http://www.mon-domaine-lws.fr/prive/index.html jest jednym z zablokowanych adresów URL, ale http://www.mon-domaine-lws.fr/index.html i http://www.mon-domaine-lws.fr/ folder/ będą mogły być indeksowane.

User-agent: * oznacza, że poniższa reguła musi mieć zastosowanie do wszystkich robotów, można określić konkretne roboty, na przykład dla robota Google: User-agent: Googlebot tutaj jest pełna lista robotów, http://www.robotstxt.org/db.html

plik robots.txt dla WordPress

User-agent: * Disallow: /wp-admin/ #disallow access to admin section Disallow: /wp-login.php #disallow access to dashboard login page Disallow: /search/ #disallow access to internal search results page Disallow: *?s=* #zezwolenie na dostęp do wewnętrznej strony wyników wyszukiwania Disallow: *?p=* #zezwolenie na dostęp do stron ze złymi linkami bezpośrednimi Disallow: *&p=* #zezwolenie na dostęp do stron ze złymi linkami bezpośrednimi Disallow: *&preview=* #zezwolenie na dostęp do poprzednich stron Disallow: /tag/ #zezwolenie na dostęp do stron tagów Disallow: /author/ #zezwolenie na dostęp do stron autorów Disallow: /404-error/ #zezwolenie na dostęp do stron 404 Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

Możesz sprawdzić, czy plik robots.txt blokuje dostęp do określonych stron w Twojej witrynie online za pomocą narzędzia Google dla webmasterów, odwiedzając tę stronę i klikając Otwórz tester robots.txt.

Możesz również wygenerować plik robots.txt online za pomocą tego narzędzia

Wnioski:

Robots.txt może odgrywać ważną rolę w rankingu witryny w wyszukiwarkach. Dlatego też należy zarządzać tym prostym plikiem z należytą starannością.

Nie wahaj się podzielić swoimi komentarzami i pytaniami!