Jak nakonfigurovat soubor robots.txt? SiteBuilder Pro

Procédure

Co je soubor Robots.txt?

Jedná se o soubor, který různým vyhledávačům říká, co mohou a co nemohou indexovat. Před indexováním webové stránky vyhledávače nahlížejí do souboru robots.txt.

Kde na webových stránkách najdu soubor robots.txt?

Soubor robots.txt se nachází v kořenovém adresáři webových stránek. V zásadě se tento soubor generuje automaticky při vytváření webových stránek, ale je možné jej upravit podle svých potřeb.

Jak aktivuji soubor robots.txt v aplikaci SiteBuilder Pro?

Chcete-li na svých webových stránkách aktivovat souborrobots.txt, musíte se nejprve připojit k administraci svých webových stránek.

1. Klikněte na kartu"Nastavení" na panelu nástrojů SiteBuilder Pro. Poté kliknutím na"Nastavení" otevřete ovládací panel.

2. Přejděte na kartu"Robots.txt" a zaškrtněte políčko"Enable robots.txt" (Povolit robots.txt).

Ve výchozím nastavení, pokud v souboru"robots.txt" nenakonfigurujete nic jiného, bude soubor obsahovat tři řádky kódu, a to následujícím způsobem:

• User-agent: slouží k označení robota, kterého se toto pravidlo týká. Každý motor má svého vlastního robota, každý s jiným jménem. Znak * určuje, že se pravidlo vztahuje na všechny.
• Povolit: To znamená"povolení". S tímto řádkem je často spojen znak /, který definuje, že všechny adresy URL na vašem webu mohou být indexovány.
• Mapa stránek: Jedná se o další soubor obsahující stromovou strukturu vašich webových stránek. Obsahuje všechny stránky na vašem webu. Ve výchozím nastavení je soubor"sitemap.xml" automaticky vytvořen v kořenovém adresáři vašeho webu.

Jak nakonfigurovat soubor robots.txt v aplikaci SiteBuilder Pro?

Soubor "robots.txt" můžete kdykoli upravit. Můžete mít specifické potřeby, které chcete uvést různým vyhledávačům. Pokud například chcete zabránit indexování určité stránky na svém webu, musíte v souboru "robots.txt" uvést následující údaje

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

Z indexování je možné vyloučit několik stránek. Stačí přidat libovolný počet řádků Disallow:

Uživatelský agent: googlebot Zakázat: /page.html Zakázat: /page2.html Zakázat: /page3.html Mapa stránek: http://votre-domaine.com/sitemap.xml

Pokud máte rozsáhlý souborrobots.txt, je často užitečné zakomentovat řádky, abyste se v nich mohli orientovat:

User-Agent: googlebot Disallow: /page1.html # testovací stránka mého webu Disallow /tmp # obsahuje dočasné soubory

Jak oslovit konkrétní vyhledávače?

Chcete-li oslovit konkrétní vyhledávače, musíte použít následující konfiguraci:

User-Agent: googlebot Disallow: /folder/ User-agent: Bingbot Disallow: /folder2/.

Jak vyloučíte své webové stránky z indexování?

Často je vhodné, když jste uprostřed tvorby webu,dočasně vyloučit indexování, než dokončíte nastavení jednotlivých stránek. Chcete-li zabránit indexování svého webu, musíte vložit tento kód:

User-agent: * Zakázat: /

Jak definovat výjimku v souboru robots.txt?

Možná budete chtít zablokovat indexování celé složky s výjimkou souboru, který je pro vás důležitý. Chcete-li to provést, musíte nejprve zablokovat indexování celé složky a poté povolit indexování jednoho nebo více souborů ve stejné složce.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Závěr

Nyní můžete aktivovat a konfigurovat soubor"robots.txt" na svých stránkách vytvořených pomocí nástroje SiteBuilder Pro. Soubor"robots.txt" sdělí různým vyhledávačům, které stránky vašeho webu chcete indexovat.

Neváhejte se podělit o své komentáře a dotazy!