Hur konfigurerar jag filen robots.txt? SiteBuilder Pro

Procédure

Vad är filen Robots.txt?

Det är en fil som talar om för de olika sökmotorerna vad de får och inte får indexera. Innan sökmotorerna indexerar en webbplats konsulterar de filen robots.txt.

Var hittar jag filen robots.txt på en webbplats?

Filen "robots.txt" ligger i roten på din webbplats. I princip genereras filen automatiskt när webbplatsen skapas, men det är möjligt att ändra den så att den passar dina behov.

Hur aktiverar jag robots.txt-filen i SiteBuilder Pro?

För att aktivera"robots.txt"-filen på din webbplats måste du först ansluta till webbplatsens administration.

1. Klicka på fliken"Inställningar" i verktygsfältet i SiteBuilder Pro. Klicka sedan på"Inställningar" för att öppna kontrollpanelen.

2. Gå till fliken"Robots.txt" och kryssa i rutan"Aktivera robots.txt".

Som standard, om du inte konfigurerar något annat i din"robots.txt"-fil, kommer den att innehålla följande tre rader kod:

• User-agent: detta används för att ange den robot som påverkas av denna regel. Varje motor har sin egen robot, var och en med ett annat namn. Tecknet * anger att regeln gäller för alla.
• Tillåt: Detta betyder"auktorisering". Tecknet / associeras ofta med denna rad för att definiera att alla webbadresser på din webbplats kan indexeras.
• Sitemap: Detta är en annan fil som innehåller trädstrukturen på din webbplats. Den innehåller alla sidor på din webbplats. Som standard skapas filen"sitemap.xml" automatiskt i roten på din webbplats.

Hur konfigurerar jag filen robots.txt i SiteBuilder Pro?

Du kan ändra "robots.txt"-filen när som helst. Du kan ha specifika behov att ange till de olika sökmotorerna. Om du t.ex. vill förhindra att en sida på din webbplats indexeras måste du ange följande i filen "robots.txt"

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

Det är möjligt att utesluta flera sidor från indexering. Lägg bara till så många Disallow-rader som du vill:

User-Agent: googlebot Disallow: /page.html Disallow: /page2.html Disallow: /page3.html Sitemap: http://votre-domaine.com/sitemap.xml

Om du har en stor"robots.txt"-fil är det ofta bra att kommentera dina rader så att du kan hitta rätt:

User-Agent: googlebot Disallow: /page1.html # testsida på min webbplats Disallow /tmp # innehåller temporära filer

Hur adresserar jag specifika sökmotorer?

För att kunna adressera specifika sökmotorer behöver du använda följande konfiguration:

User-Agent: googlebot Disallow: /folder/ User-agent: Bingbot Disallow: /folder2/

Hur utesluter du din webbplats från indexering?

När du håller på att skapa din webbplats är det ofta lämpligt atttillfälligt utesluta indexering medan du avslutar konfigurationen av de olika sidorna. För att förhindra att din webbplats indexeras måste du infoga den här koden:

Användaragent: * Disallow: /

Hur definierar jag ett undantag i filen robots.txt?

Du kanske vill blockera indexering av en hel mapp utom för en fil som är viktig för dig. För att göra detta måste du först blockera indexering av hela mappen och sedan tillåta indexering av en eller flera filer i samma mapp.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Slutsats

Du kan nu aktivera och konfigurera filen"robots.txt" på din webbplats som skapats med SiteBuilder Pro. Filen "robots.txt" kommer att berätta för de olika sökmotorerna vilka sidor på din webbplats du vill indexera.

Tveka inte att dela med dig av dina kommentarer och frågor!