Jak skonfigurować plik robots.txt? SiteBuilder Pro

Procédure

Czym jest plik robots.txt?

Jest to plik, który informuje różne wyszukiwarki o tym, co mogą, a czego nie mogą indeksować. Przed zaindeksowaniem witryny wyszukiwarki sprawdzają plik robots.txt.

Gdzie mogę znaleźć plik robots.txt na stronie internetowej?

Plik "robots.txt" znajduje się w katalogu głównym witryny. Zasadniczo plik ten jest generowany automatycznie po utworzeniu witryny, ale można go zmodyfikować zgodnie z własnymi potrzebami.

Jak aktywować plik robots.txt w SiteBuilder Pro?

Aby aktywować plik"robots.txt" w swojej witrynie, musisz najpierw połączyć się z administracją witryny.

1. Kliknij zakładkę"Ustawienia" na pasku narzędzi SiteBuilder Pro. Następnie kliknij "Ustawienia", aby otworzyć panel sterowania.

2. Przejdź do zakładki"Robots.txt" i zaznacz pole"Enable robots.txt".

Domyślnie, jeśli nie skonfigurujesz niczego innego w pliku"robots.txt", będzie on zawierał następujące trzy linie kodu:

• User-agent: służy do wskazania robota, którego dotyczy ta reguła. Każdy silnik ma własnego robota, każdy o innej nazwie. Znak * definiuje , że reguła dotyczy wszystkich.
• Allow: Oznacza"autoryzację". Znak / jest często powiązany z tą linią, aby określić, że wszystkie adresy URL w witrynie mogą być indeksowane.
• Sitemap: Jest to kolejny plik zawierający strukturę drzewa witryny. Zawiera on wszystkie strony w witrynie. Domyślnie plik"sitemap.xml" jest tworzony automatycznie w katalogu głównym witryny.

Jak skonfigurować plik robots.txt w SiteBuilder Pro?

Plik "robots.txt" można zmodyfikować w dowolnym momencie. Możesz mieć konkretne potrzeby, które chcesz zasygnalizować różnym wyszukiwarkom. Na przykład, jeśli chcesz zapobiec indeksowaniu strony w witrynie, musisz wskazać następujące elementy w pliku "robots.txt"

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

Możliwe jest wykluczenie kilku stron z indeksowania. Wystarczy dodać dowolną liczbę wierszy Disallow:

User-Agent: googlebot Disallow: /page.html Disallow: /page2.html Disallow: /page3.html Sitemap: http://votre-domaine.com/sitemap.xml

Jeśli masz duży plik"robots.txt", często przydatne jest komentowanie linii, abyś mógł znaleźć drogę:

User-Agent: googlebot Disallow: /page1.html # strona testowa mojej witryny Disallow /tmp # zawiera pliki tymczasowe

Jak zaadresować określone wyszukiwarki?

Aby zaadresować określone wyszukiwarki, należy użyć następującej konfiguracji:

User-Agent: googlebot Disallow: /folder/ User-Agent: Bingbot Disallow: /folder2/

Jak wykluczyć witrynę z indeksowania?

Często zaleca się, gdy jesteś w trakcie tworzenia witryny,tymczasowe wyłączenie indeksowania, podczas gdy kończysz konfigurowanie różnych stron. Aby zapobiec indeksowaniu witryny, należy wstawić ten kod:

User-agent: * Disallow: /

Jak zdefiniować wyjątek w pliku robots.txt?

Możesz chcieć zablokować indeksowanie całego folderu z wyjątkiem pliku, który jest dla Ciebie ważny. Aby to zrobić, należy najpierw zablokować indeksowanie całego folderu, a następnie zezwolić na indeksowanie jednego lub więcej plików w tym samym folderze.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Wnioski

Jesteś teraz w stanie aktywować i skonfigurować plik"robots.txt" na swojej stronie utworzonej za pomocą SiteBuilder Pro. Plik"robots.txt" powie różnym wyszukiwarkom, które strony witryny mają być indeksowane.

Nie wahaj się podzielić swoimi komentarzami i pytaniami!