¿Cómo configurar el archivo robots.txt? SiteBuilder Pro

Procédure

¿Qué es el archivo Robots.txt?

Se trata de un archivo que indica a los distintos motores de búsqueda lo que pueden indexar y lo que no. Antes de indexar un sitio web, los motores de búsqueda consultan el archivo robots.txt.

¿Dónde puedo encontrar el archivo robots.txt en un sitio web?

El archivo "robots.txt" se encuentra en la raíz de su sitio web. En principio, este archivo se genera automáticamente al crear su sitio web, pero es posible modificarlo para adaptarlo a sus necesidades.

¿Cómo activar el archivo robots.txt en SiteBuilder Pro?

Para activar el archivo "robots.txt" en su sitio web, primero debe conectarse a la administración de su sitio web.

1. 2. Haga clic en la pestaña"Configuración" de la barra de herramientas de SiteBuilder Pro. A continuación, haga clic en"Configuración" para abrir el panel de control.

2. 2. Vaya a la pestaña"Robots.txt" y marque la casilla"Activar robots.txt".

Por defecto, si no configura nada más en su archivo"robots.txt", contendrá tres líneas de código, como sigue:

• User-agent: se utiliza para indicar el robot afectado por esta regla. Cada motor tiene su propio robot, cada uno con un nombre diferente. El carácter * define que la regla se aplica a todos.
• Permitir: Significa"autorización". El carácter / se asocia a menudo a esta línea para definir que todas las URL de su sitio pueden ser indexadas.
• Mapa del sitio: es otro archivo que contiene la estructura de árbol de su sitio web. Contiene todas las páginas de su sitio. Por defecto, el archivo"sitemap.xml" se crea automáticamente en la raíz de su sitio web.

¿Cómo configuro el archivo robots.txt en SiteBuilder Pro?

Puede modificar el archivo "robots.txt" en cualquier momento. Es posible que tenga necesidades específicas que indicar a los distintos motores de búsqueda. Por ejemplo, si desea impedir que se indexe una página de su sitio, deberá indicar lo siguiente en el archivo "robots.txt

User-Agent: googlebot Disallow: /page.html Sitemap: http://votre-domaine.com/sitemap.xml

Es posible excluir varias páginas de la indexación. Sólo tiene que añadir tantas líneas Disallow como desee:

User-Agent: googlebot Disallow: /page.html Disallow: /page2.html Disallow: /page3.html Sitemap: http://votre-domaine.com/sitemap.xml

Si tiene un archivo"robots.txt" grande, a menudo resulta útil comentar las líneas para poder orientarse:

User-Agent: googlebot Disallow: /page1.html # página de prueba de mi sitio web Disallow /tmp # contiene archivos temporales

¿Cómo me dirijo a motores de búsqueda específicos?

Para dirigirse a motores de búsqueda específicos, deberá utilizar la siguiente configuración:

User-Agent: googlebot Disallow: /carpeta/ User-agent: Bingbot Disallow: /carpeta2/

¿Cómo excluir su sitio web de la indexación?

A menudo es aconsejable, cuando está en medio de la creación de su sitio web, excluirtemporalmente la indexación, mientras termina de configurar las distintas páginas. Para evitar que su sitio sea indexado, debe insertar este código:

User-agent: * Disallow: /

¿Cómo definir una excepción en el archivo robots.txt?

Es posible que desee bloquear la indexación de toda una carpeta, excepto de un archivo que sea importante para usted. Para ello, primero debe bloquear la indexación de toda la carpeta y, a continuación, permitir la indexación de uno o varios archivos de la misma carpeta.

User-agent: googlebot Disallow: /blog/ Allow: /blog/page.html

Conclusión

Ahora puede activar y configurar el archivo "robots.txt" en su sitio creado con SiteBuilder Pro. El archivo "robots.txt" indicará a los distintos motores de búsqueda qué páginas de su sitio desea indexar.

¡No dude en compartir sus comentarios y preguntas!