WordPress

Cómo crear un robots.txt – como crear robots.txt

Desde hace ya varios años, los buscadores e indexadores de contenido usan robots para rastrear sitios y navegar por toda la web. Estos robots, también llamados bots o arañas, recolectan información continuamente y a veces esta información es sensible, es por esta razón que tu página debería tener el famoso archivo robots.txt

En palabras simples, el robots.txt es el administrador de los robots que visiten tu sitio, les dirá que lugares tocar y cuales están prohibidos.

Cómo crear un robots.txt

Para crear un robots.txt puedes usar cualquier editor de texto, basta con guardar el nombre robots y el formato .txt para que funcione, aparte de eso estos son los lineamientos que debes seguir:

La sintaxis única del robots.txt es:

User-agent: nombre-del-bot

Directiva: contenido-de-directiva

Sitemap: http://www.dominio.com/sitemap.xml

En User-agent deben ir el nombre de los agentes de cada buscador o indexador conocido. Y en directivas se puede agregar diversas directivas ya establecidas que puedes ver a continuación:

  • Disallow: Puedes indicar que no quieres que el bot rastree los archivos o directorios indicados
  • Allow: Al contrario del anterior, con esta directiva los bots SI deben rastrear este directorio
  • Crawl-delay: La espera que deben hacer los bots entre cada petición dentro del sitio
  • Noindex: Especial para Google, indicas que archivos no quieres indexar

Además, existen diferentes comodines que se pueden combinar:

  • *: Puedes indicar con este símbolo que la directiva se aplica a todos los bots
  • $: Este símbolo te permite poner caracteres y hacer que los bots no indexen documentos o archivos con estos caracteres
  • #: Comentarios que serán ignorados por los bots

Combinar las directivas es muy fácil y te dejamos un par de ejemplos

User-agent: *

Disallow: /

Estas dos líneas bloquean todos los bots en todo el sitio

User-agent: *

Disallow: /directorio-privado/

Disallow: /pagina-privada.html

Estas dos líneas bloquean todos los bots de un directorio privado o página privada

¿Cómo agregar un robots.txt a tu sitio?

Agregar un archivo robots.txt es muy sencillo, luego de que tengas el archivo tienes que seguir estos pasos:

  1. Ingresa a tu sitio a través de Filezilla y ve hasta Plublic_HTML, si tienes un servicio compartido ya estarás ahí por defecto

image00 30

  1. Aunque tengas uno o varios sitios, el archivo debe de ir en la carpeta raíz de tu sitio y no dentro de los subdirectorios

como crear robots.txt

  1. Cuando tengas el archivo solamente te queda confirmar que todo está correcto, ingresa a tu sitio del modo sitio.com/robots.txtimage02 20

Conclusion

Listo, ya tienes tu archivo robots.txt funcional, ahora solo debes esperar que los robots revisen tu sitio para que puedas verlo en funcionamiento.

Si tuviste alguna duda respecto al archivo robots.txt te invitamos a contactarnos a través del área de ayuda, te ayudaremos con gusto.

Agrega un Comentario

Dale clic aquí para dejar un comentario

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

¡Comienza a ahorrar hoy mismo!

Alojamientos con todo incluido y nombre de dominio por

0
96
/mes