Průvodce používáním souboru robots.txt

Procédure

Průvodce používáním souboru robots.txt

Pokud se SEO začínáte, musíte pro svůj web vytvořit soubor robots.txt.
Tento návod vám ukáže, k čemu soubor robots.txt slouží a jak jej můžete použít ke zlepšení SEO.

Co je soubor robots.txt?

Soubor robots.txt je jednoduchý textový soubor, který vytvoříte a umístíte do kořenového adresáře svých webových stránek, abyste pavoukům vyhledávačů sdělili, jak mají přistupovat k různým webovým stránkám na vašem webu.

Jak soubor robots.txt funguje:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: zkratka pro Search Engine Result Page ( stránka s výsledky vyhledávání).

Soubor robots.txt můžete použít k:

• přimět roboty vyhledávačů, aby ignorovali duplicitní stránky na vašem webu.
• Neindexovat určité interní stránky vašeho webu (např. panel administrace nebo stránky obsahující citlivé informace).
• Omezit roboty na indexování určitých částí webu nebo celého webu.
• Zakázat vyhledávacím robotům indexovat určité soubory na vašem webu, například obrázky a soubory PDF.

Příklad směrnic robots.txt

Pokud chcete zabránit robotům, aby navštěvovali váš web a nebyli odkazováni vyhledávači, použijte následující kód:

User-agent: * Zakázat: /

Robotům můžete také zabránit v analýze některých částí webu a zároveň jim umožnit analýzu jiných částí. Následující příklad říká vyhledávačům a pavoukům, aby neprohledávali složku wp-admin, složku tmp, složku private a všechny položky v těchto složkách na vašem webu.

User-agent: * Zakázat: /admin/ Zakázat: /tmp/ Zakázat: /prive/ Zakázat: /prive/

Ve výše uvedeném příkladu je http://www.mon-domaine-lws.fr/prive/index.html jednou ze zablokovaných adres URL, ale složky http://www.mon-domaine-lws.fr/index.html a http://www.mon-domaine-lws.fr// budou procházet.

User-agent: * znamená, že následující pravidlo musí platit pro všechny roboty, konkrétní roboty můžete zadat například pro robota Google: User-agent: Googlebot zde je kompletní seznam robotů, http://www.robotstxt.org/db.html.

Soubor robots.txt pro WordPress

User-agent: * Zakázat: /wp-admin/ #zakázat přístup do sekce administrace Zakázat: /wp-login.php #zakázat přístup na přihlašovací stránku ovládacího panelu Zakázat: /search/ #zakázat přístup na stránku s interními výsledky vyhledávání Zakázat: *?s=* #zakázat přístup na interní stránku s výsledky vyhledávání Disallow: *? *?p=* #disallow access to pages with bad permalinks Disallow: *&p=* #disallow access to pages with bad permalinks Disallow: Zakázat: *&preview=* #zakázat přístup na předchozí stránky Zakázat: /tag/ #zakázat přístup na stránky se značkami Zakázat: /author/ #zakázat přístup na autorské stránky Zakázat: /404-error/ #zakázat přístup na stránky 404 Mapa stránek: https://www.mon-domaine-lwsfr/sitemap_index.xml 

Zda váš soubor robots.txt blokuje přístup k určitým stránkám na vašem online webu, můžete otestovat pomocí nástroje Google Webmaster tool tak, že navštívíte tuto stránku a kliknete na Otevřít tester robots.txt.

Soubor robots.txt můžete také vygenerovat online pomocí tohoto nástroje .

Závěr:

Soubor robots.txt může hrát důležitou roli při hodnocení vašeho webu ve vyhledávačích. Proto je třeba tento jednoduchý soubor spravovat s důležitostí a péčí.

Neváhejte se podělit o své komentáře a dotazy!