Este post es largo, pero importante. Le recomiendo que tome una taza de chocolate caliente antes de comenzar 
Si usted no ha oído hablar de el archivo robots.txt, es simplemente un pequeño archivo ubicado en el directorio raíz del sitio Web que indica a los motores de búsqueda sobre lo que pueden y no pueden hacer. Aunque no es estrictamente forzada, contra los robots de los motores de búsqueda generalmente se respeten las normas expuestas en el archivo robots.txt. Con un archivo robots.txt debidamente configurado puede, por ejemplo, el intento de defenderse de los robots de spam, decirle que no a Google a indexar sus imágenes o dar instrucciones a los robots para pasar las páginas que pueden tener contenido duplicado.
Los bots son piezas de software utilizado por las compañías de motores de búsqueda, los spammers y los acumuladores de contenido para rastrear el Internet para encontrar contenido nuevo o modificado. El trabajo de un bot es seguir los enlaces en un sitio web el rastreo de una página a otra y de un sitio a otro. Es como una especie de Six Degrees of Kevin Bacon cosa. Siga los enlaces suficientes y que finalmente debe encontrar todo el contenido en la red. Esta es la razón por backlinks son tan importantes. El retroceso más tienes, más fácil será para los motores de búsqueda para encontrar su contenido. Hay literalmente millones de casos bot pesca de arrastre de la red en cualquier momento. El plazo oficial para un bot es un agente de usuario de los que hay miles de personas. Deja la toma Google, por ejemplo. Google tiene muchos diferentes agentes de usuario utilizado para indexar su sitio, extraer imágenes y videos, encontrar fuentes de noticias, encontrar información sobre el teléfono móvil, consulte el sitio de la calidad de Adsense y así sucesivamente. Este sitio detalla una lista completa de los conocidos agentes de usuario.
El archivo robots.txt ha existido por siglos. Fue introducido en realidad por AltaVista en 1994, pero ahora sigue siendo un alimento básico para las arañas web. Para una descripción completa del archivo y su notación estándar, visite aquí . En pocas palabras, un archivo robots.txt puede restringir bots específicas de rastreo de su sitio completo o parte del mismo. Para ello, todos los robots tienen una firma especial. Por ejemplo, el índice de robot de Google se llama Googlebot, bot Bing se llama MSNbot y Yahoo bot se llama Yahoo! Slurp.
Una entrada en el archivo robots.txt puede tener este aspecto:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Aquí le estamos diciendo al agente de usuario Slurp que pueda acceder a todas las páginas que encuentra en el directorio que empiezan por "público", y no tienen acceso a páginas con "_print" en el URI.
A continuación se muestra un archivo robots.txt para completar uno de mis sitios experimentales WordPress (Voy a publicar un artículo explicando lo que quiero decir por el sitio experimental otro día). Los lectores astutos pueden notar que estoy rechazando todos los agentes de usuario de directorios específicos, y sólo permitir que algunos agentes de usuario específicos de acceso a las demás áreas de mi sitio. Una reciente actualización de la norma también me permite a la lista de la ubicación de mi mapa del sitio para ayudar a los motores de búsqueda encuentran todas mis páginas.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Rechazando los robots de acceder a los contenidos no destinados al consumo se asegurará de que su sitio seguirá siendo palabras clave optimizadas en todas las páginas, ayudando así a promover su sitio en los motores de búsqueda. Digamos por ejemplo que usted ha trabajado duro en la optimización de todas las páginas del "aumento de peso" de palabras clave y las largas colas diferentes. Su trabajo puede ser filtrada por los ojos de los motores de búsqueda si se ha podido rastrear su página de inicio de sesión, en la página de privacidad y formulario de contacto.
Algunos expertos en SEO también argumentan que Google castiga a sitios web de los jóvenes en favor de los sitios antiguos más establecidos. Google al parecer, utiliza el Internet Archive (que se encuentra aquí ) para determinar la edad de un sitio. Si no puede encontrar el sitio en el archivo, al parecer, asume que el sitio es de una cierta edad. Por esta razón, muchas personas activamente parada del Archivo de Internet del agente de usuario de la indexación de su sitio. Esto puede hacerse mediante la inclusión de las siguientes líneas:
User-agent: ia_archiver-web.archive.org
Disallow: /
Usted también puede desear dejar de robots de la imagen de acceder a las imágenes si se han tomado no-acción imágenes de otros sitios. Esto se puede hacer así:
User-agent: Googlebot-Image
Allow: /
Finalmente, se puede utilizar robots.txt para excluir los robots de páginas específicas que se pueden utilizar para mostrar el contenido que pueden estar disponibles en otros sitios o páginas. A menudo se argumenta que Google castigará a sus calificaciones para la visualización de contenido duplicado. Yo personalmente no lo veo como un gran problema y creo que el contenido duplicado puede ayudar realmente a la calificación de su sitio, en algunos casos (más sobre esto otro día). De todos modos, para detener a un bot de acceder a una página específica, agregue las líneas siguientes:
User-agent: *
Disallow: */my-duplicate-page.html
Tenga en cuenta que este no es un método infalible. Si su página tiene enlaces rechazado a él desde otro sitio, seguirá siendo rastreado por los robots.
Podría seguir, pero estoy seguro que todos ustedes están aburridos de ahora. Siéntete libre de comentar a continuación o póngase en contacto conmigo directamente si desea saber más.
Roboting feliz.
