Guide till hur du använder filen robots.txt

Procédure

Guide till hur du använder filen robots.txt

Om du är nybörjare inom SEO måste du skapa en robots.txt-fil för din webbplats.
Den här guiden visar dig syftet med filen robots.txt och hur du kan använda den för att förbättra din SEO.

Vad är en robots.txt-fil?

Robots.txt är en enkel textfil som du skapar och placerar i roten på din webbplats för att tala om för sökmotorspindlar att de ska komma åt de olika webbsidorna på din webbplats.

Hur en robots.txt-fil fungerar:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: akronym för Search Engine Result Page (sökmotors resultatsida).

Du kan använda robots.txt-filen för att:

• Få sökrobotar att ignorera duplicerade sidor på din webbplats
• inte indexera vissa interna sidor på webbplatsen (t.ex. adminpanelen eller sidor som innehåller känslig information)
• Begränsa robotar till att indexera vissa delar av din webbplats eller hela webbplatsen
• Förbjuda sökrobotar att indexera vissa filer på din webbplats, t.ex. bilder och PDF-filer.

Exempel på direktiv i robots.txt

Om du vill hindra robotar från att besöka din webbplats och inte bli hänvisade till av sökmotorer använder du följande kod:

Användaragent: * Disallow: /

Du kan också hindra robotar från att analysera delar av din webbplats, samtidigt som du tillåter dem att analysera andra delar. Följande exempel talar om för sökmotorer och spindlar att de inte ska skanna wp-admin-mappen, tmp-mappen, private-mappen och alla objekt i dessa mappar på din webbplats.

Användaragent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /prive/

I exemplet ovan är http://www.mon-domaine-lws.fr/prive/index.html en av de blockerade webbadresserna, men http://www.mon-domaine-lws.fr/index.html och http://www.mon-domaine-lws.fr/ folder/ kommer att kunna genomsökas.

Användaragent: * betyder att följande regel måste gälla för alla robotar, du kan ange särskilda robotar till exempel för Google-roboten: User-agent: Googlebot här är den fullständiga listan över robotar, http://www.robotstxt.org/db.html

robots.txt-fil för WordPress

Användaragent: * Disallow: /wp-admin/ #förbjuder åtkomst till adminsektionen Disallow: /wp-login.php #förbjuder åtkomst till inloggningssidan för instrumentpanelen Disallow: /search/ #förbjuder åtkomst till den interna sökresultatsidan Disallow: *?s=* #förbjuder åtkomst till intern sökresultatsida Förbjuder: *?p=* #förbjuder åtkomst till intern sökresultatsida *?p=* #tillåt inte åtkomst till sidor med dåliga permalänkar Tillåt inte: *&p=* #tillåt inte åtkomst till sidor med dåliga permalänkar Tillåt inte *&preview=* #tillåt inte åtkomst till tidigare sidor Tillåt inte: /tag/ #tillåt inte åtkomst till taggsidor Tillåt inte: /author/ #tillåt inte åtkomst till författarsidor Tillåt inte: /404-error/ #tillåt inte åtkomst till 404-sidor Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

Du kan testa om din robots.txt-fil blockerar åtkomst till vissa sidor på din webbplats med hjälp av Googles verktyg för webbansvariga genom att besöka den här sidan och klicka på Open Robots.txt Tester.

Du kan också skapa din robots.txt-fil online med hjälp av det här verktyget

Slutsats:

Robots.txt kan spela en viktig roll i din webbplats ranking på sökmotorer. Det är därför du måste hantera den här enkla filen med vikt och omsorg.

Tveka inte att dela med dig av dina kommentarer och frågor!