Hoe configureer ik het robots.txt-bestand? SiteBuilder Pro

Procédure

Wat is het Robots.txt-bestand?

Dit is een bestand dat de verschillende zoekmachines vertelt wat ze wel en niet mogen indexeren. Voordat zoekmachines een website indexeren, raadplegen ze het robots.txt-bestand.

Waar kan ik het robots.txt-bestand op een website vinden?

Het "robots.txt"-bestand bevindt zich in de root van uw website. In principe wordt dit bestand automatisch gegenereerd wanneer uw website wordt gemaakt, maar het is mogelijk om het aan te passen aan uw behoeften.

Hoe activeer ik het robots.txt-bestand in SiteBuilder Pro?

Om het"robots.txt" bestand te activeren op uw website, dient u eerst verbinding te maken met uw website administratie.

1. Klik op de tab"Instellingen" in de SiteBuilder Pro werkbalk. Klik vervolgens op"Instellingen" om het configuratiescherm te openen.

2. Ga naar het tabblad"Robots.txt" en vink het vakje"Schakel robots.txt in" aan.

Standaard, als je niets anders configureert in je"robots.txt" bestand, zal het de volgende drie regels code bevatten:

• User-agent: dit wordt gebruikt om aan te geven op welke robot deze regel betrekking heeft. Elke engine heeft zijn eigen robot, elk met een andere naam. Het teken * geeft aan dat de regel voor iedereen geldt.
• Toestaan: Dit betekent"toestemming". Het teken / wordt vaak aan deze regel gekoppeld om aan te geven dat alle URL's op uw site mogen worden geïndexeerd.
• Sitemap: Dit is een ander bestand dat de boomstructuur van uw website bevat. Het bevat alle pagina's op uw site. Standaard wordt het bestand"sitemap.xml" automatisch aangemaakt in de root van uw website.

Hoe configureer ik het robots.txt bestand op SiteBuilder Pro?

U kunt het "robots.txt" bestand op elk moment aanpassen. Het kan zijn dat u specifieke noden heeft om aan te geven aan de verschillende zoekmachines. Als u bijvoorbeeld wilt voorkomen dat een pagina op uw site geïndexeerd wordt, moet u het volgende aangeven in het "robots.txt" bestand

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

Het is mogelijk om meerdere pagina's uit te sluiten van indexering. Voeg gewoon zoveel Disallow regels toe als je wilt:

User-Agent: googlebot Verbied: /page.html Verbied: /page2.html Verbied: /page3.html Sitemap: http://votre-domaine.com/sitemap.xml

Als u een groot"robots.txt"-bestand hebt, is het vaak handig om uw regels van commentaar te voorzien, zodat u uw weg kunt vinden:

User-Agent: googlebot Disallow: /page1.html # testpagina van mijn website Disallow /tmp # bevat tijdelijke bestanden

Hoe spreek ik specifieke zoekmachines aan?

Om specifieke zoekmachines aan te spreken, moet je de volgende configuratie gebruiken:

User-Agent: googlebot Disallow: /folder/ User-agent: Bingbot Disallow: /folder2/

Hoe sluit je je website uit van indexering?

Als je bezig bent met het maken van je website, is het vaak aan te raden omindexering tijdelijk uit te sluiten, terwijl je de verschillende pagina's instelt. Om te voorkomen dat je site wordt geïndexeerd, moet je deze code invoegen:

User-agent: * Disallow: /

Hoe definieer ik een uitzondering in het robots.txt-bestand?

U wilt misschien het indexeren van een hele map blokkeren, behalve een bestand dat belangrijk voor u is. Om dit te doen, moet u eerst het indexeren van de hele map blokkeren en vervolgens het indexeren van een of meer bestanden in dezelfde map toestaan.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Conclusie

U kunt nu het bestand"robots.txt" activeren en configureren op uw site die is gemaakt met SiteBuilder Pro. Het"robots.txt"-bestand zal de verschillende zoekmachines vertellen welke pagina's van uw site u wilt indexeren.

Aarzel niet om uw opmerkingen en vragen te delen!