Guía de uso del archivo robots.txt

Procédure

Guía para utilizar el archivo robots.txt

Si es nuevo en SEO, necesitará crear un archivo robots.txt para su sitio.
Este tutorial le mostrará la finalidad del archivo robots.txt y cómo puede utilizarlo para mejorar su SEO.

¿Qué es un archivo robots.txt?

Robots.txt es un sencillo archivo de texto que se crea y se coloca en la raíz del sitio web para indicar a las arañas de los motores de búsqueda que accedan a las distintas páginas web del sitio.

Cómo funciona un archivo robots.txt:

Lorsque les robots des moteurs de recherche scannent votre site pour l'indexer , ils recherchent d'abord un fichier robots.txt dans le répertoire racine. Ce fichier contient les instructions sur les pages qu'ils peuvent analyser et indexer sur les SERP* et sur lesquels ils ne peuvent pas indexer.

SERP: acrónimo de Search Engine Result Page (página de resultados del motor de búsqueda).

Puede utilizar el archivo robots.txt para:

• Hacer que los robots de búsqueda ignoren las páginas duplicadas de su sitio web
• No indexar ciertas páginas internas de su sitio web (por ejemplo, su panel de administración o páginas que contengan información sensible)
• Limitar los robots para indexar ciertas partes de su sitio o todo el sitio
• Prohibir que los robots de búsqueda indexen determinados archivos de su sitio, como imágenes y archivos PDF.

Ejemplo de directivas robots.txt

Si desea impedir que los robots visiten su sitio y no sean referenciados por los motores de búsqueda, utilice el siguiente código:

User-agent: * Disallow: /

También puede impedir que los robots analicen partes de su sitio, permitiéndoles al mismo tiempo analizar otras secciones. El siguiente ejemplo indica a los motores de búsqueda y arañas que no analicen la carpeta wp-admin, la carpeta tmp, la carpeta privada y todos los elementos de estas carpetas de su sitio web.

User-agent: * Disallow: /admin/ Disallow: /tmp/ Disallow: /prive/

En el ejemplo anterior, http://www.mon-domaine-lws.fr/prive/index.html es una de las URL bloqueadas, pero las carpetas http://www.mon-domaine-lws.fr/index.html y http://www.mon-domaine-lws.fr// se podrán rastrear.

User-agent: * significa que la siguiente regla debe aplicarse a todos los robots, puede especificar robots particulares por ejemplo para el robot de Google: User-agent : Googlebot aquí está la lista completa de robots, http://www.robotstxt.org/db.html

Archivo robots.txt para WordPress

User-agent: * Disallow: /wp-admin/ #no permitir el acceso a la sección de administración Disallow: /wp-login.php #no permitir el acceso a la página de inicio de sesión del panel de control Disallow: /search/ #no permitir el acceso a la página de resultados de búsqueda interna Disallow: *?s=* #disallow access to internal search results page Disallow: *?p=* #disallow access to pages with bad permalinks Disallow: *&p=* #disallow access to pages with bad permalinks Disallow: *&preview=* #no permitir el acceso a páginas anteriores Disallow: /tag/ #no permitir el acceso a páginas de etiquetas Disallow: /author/ #no permitir el acceso a páginas de autores Disallow: /404-error/ #no permitir el acceso a páginas 404 Sitemap: https://www.mon-domaine-lwsfr/sitemap_index.xml 

Puede comprobar si su archivo robots.txt bloquea el acceso a determinadas páginas de su sitio web mediante la Herramienta para webmasters de Google visitando esta página y haciendo clic en Abrir comprobador de robots.txt.

También puede generar su archivo robots.txt en línea utilizando esta herramienta

Conclusión:

Robots. txt podría desempeñar un papel importante en la clasificación de su sitio en los motores de búsqueda. Por eso es necesario gestionar este sencillo archivo con importancia y cuidado.

¡No dudes en compartir tus comentarios y preguntas!