¿Qué es Robots.txt

¿Qué es Robots.txt

Es muy grande, si los motores de búsqueda visitan con frecuencia su sitio y un índice de su contenido, pero a menudo hay casos en que la indexación de las partes de su contenido online no es lo que usted desea. Por ejemplo, si tiene dos versiones de una página (una para la visualización en el navegador y otra para la impresión), lo prefiere tener la impresión de la versión excluidos de rastreo, o de lo contrario corren el riesgo de ser impuesto una pena de contenido duplicado.

Además, si te ocurre que tienes datos sensibles en su sitio web que no desea que la vea el mundo, también prefieren que los motores de búsqueda no indexan estas páginas (aunque en este caso la única manera segura de no indexación de los datos sensibles es Le mantenga fuera de línea en una máquina). Además, si quieres ahorrar algo de ancho de banda mediante la exclusión de las imágenes, hojas de estilo y de la indexación de Javascript, también necesita una manera de decirle a un arañas para mantener alejado del alcance de estos artículos.

Una manera de decirle a los motores de búsqueda que los archivos y las carpetas en su sitio Web, para evitar con la utilización de la metaetiqueta Robots. Pero ya que no todos los motores de búsqueda leer metaetiquetas, la Robots matatag puede simplemente pasan desapercibidos. Una mejor manera de informar a los motores de búsqueda acerca de su voluntad es la de usar un archivo robots.txt.

¿Qué es el archivo robots.txt?

Robots.txt es un texto (no html) fichero que puso en su sitio al decir que los robots de búsqueda las páginas que no les gustaría visitar. Robots.txt no es en modo alguno obligatorio para los motores de búsqueda, pero en general los motores de búsqueda obedecer lo que se les pide que no se debe hacer. Es importante aclarar que el archivo robots.txt no es una manera de prevenir el rastreo de los motores de búsqueda de su sitio (es decir, no se trata de un cortafuegos, o una especie de protección de contraseña) y el hecho de que usted coloque un archivo robots.txt es algo como Poner una nota "Por favor, no escriba" desbloqueada sobre una puerta por ejemplo, No se puede impedir que los ladrones entren en los buenos pero no se abrirá a la puerta y entrar. Por eso decimos que si tiene realmente Sen sitive datos, es demasiado ingenuo confiar en el archivo robots.txt para proteger a los que no se indexe y que aparece en los resultados de búsqueda.

La ubicación del archivo robots.txt es muy importante. Debe estar en el directorio principal, porque de otro modo los agentes de usuario (motores de búsqueda) no será capaz de encontrarlo - no buscar en todo el sitio para el archivo de robots.txt. En lugar de ello, se ven primero en el directorio principal (es decir, http://mydomain.com/robots.txt), y si no lo encuentra allí, simplemente suponer que este sitio no cuenta con un archivo robots.txt y que, por lo tanto, Índice todo lo que encuentran a lo largo del camino. Así que, si no poner el archivo robots.txt en el lugar adecuado, no se sorprenda de que los motores de búsqueda indexar todo el sitio.

El concepto y la estructura del archivo robots.txt se ha desarrollado hace más de una década y, si usted está interesado en aprender más sobre esto, visite http://www.robotstxt.org/ o puede ir directamente a la Norma de Exclusión de Robots porque En este artículo nos ocuparemos sólo de los aspectos más importantes de un archivo robots.txt. Siguiente vamos a continuar con la estructura de un archivo robots.txt.

Estructura de un fichero Robots.txt

La estructura de un archivo robots.txt es bastante simple (y poco flexibles), es una interminable lista de los agentes y se desestime usuario los archivos y directorios. Básicamente, la sintaxis es la siguiente:

User-agent:

Disallow:



Busby SEO Test
Busby SEO Test
Busby SEO Test