iRobots.txt SEO
Descargar la última versión: 1.1.2 (actualizado el 13 de junio de 2010)
Características | Capturas | Descargar | Configuración | Preguntas frecuentes | Comentarios | Demostración
La versión 1.1 ahora disponible! Esta versión tiene varias mejoras sobre la versión anterior. Lo más notable es la capacidad de editar directamente el archivo robots.txt. Para obtener una lista completa de mejoras, por favor refiérase a la sección de cambios a continuación.
Por favor, ayuda! Asistencia en la interpretación o simplemente sugerir nuevas características sería muy apreciada. Toda la asistencia será reconocida en la página de configuración con un enlace que aparece a su sitio. Por favor registre su interés a través de mí Contacto página o como un comentario más abajo. Gracias.
Si encuentra que el plugin es útil, por favor, votar por ella aquí .
Características
iRobots.txt SEO (IRSEO) es un generador de robots.txt totalmente personalizable de archivos virtual. IRSEO crea un archivo robots.txt altamente optimizado y seguro hacia afuera de la caja. Los usuarios pueden optar por activar o desactivar los agentes específicos de usuarios, directorios o archivos con opciones intuitivas todos los cuales incluyen instrucciones detalladas.
El archivo robots.txt es un archivo de texto ubicado en el directorio raíz de un sitio web. Su propósito es dirigir a los agentes de usuario (también llamados bots) desde o hacia archivos o directorios específicos. La inhibición de un robot de la indexación de páginas específicas para hacer de su sitio web sigue siendo la palabra clave optimizado y todas las páginas indexadas son relevantes para sus clientes potenciales.
IRSEO también inhibe varios directorios del sistema y los archivos de WordPress por defecto. Esto garantiza que los robots de búsqueda no incluyen las páginas de seguridad sensibles dentro de los resultados de búsqueda. Por ejemplo, la búsqueda de inurl: wp-content descripción del tamaño del nombre en Google se producirá una lista de sitios con directorios de contenido indexados y de código abierto.
Tenga en cuenta que IRSEO crea un archivo robots.txt virtual. Este archivo robots.txt se muestra siempre que el acceso al archivo robots.txt se solicita.
Descargar
Última versión: 1.1.2
Requiere por lo menos: WordPress 2.7
Probado hasta 2.9.2
El plug-in, alternativamente, se puede descargar desde el repositorio de plugins de WordPress .
Usted es libre de usar el plugin en los términos especificados por la GPL .
Ejemplo de archivo robots.txt
| 1 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 2 | # IRobots.txt SEO |
| 3 | |
| 4 | # De imágenes de Google |
| 5 | User-agent: Googlebot-Image |
| 6 | Allow: / |
| 7 | No permitir: |
| 8 | |
| 9 | # Google Adsense |
| 10 | User-agent: * Mediapartners-Google |
| 11 | Allow: / |
| 12 | No permitir: |
| 13 | |
| 14 | # Archiver Internet Wayback Machine |
| 15 | User-agent: * ia_archiver |
| 16 | Allow: / |
| 17 | No permitir: |
| 18 | |
| 19 | # Digg Espejo |
| 20 | User-agent: duggmirror |
| 21 | Disallow: / |
| 22 | |
| 23 | # Todos los Motores |
| 24 | User-agent: * |
| 25 | Disallow: / cgi-bin |
| 26 | Disallow: / wp-admin / |
| 27 | Disallow: / wp-includes / |
| 28 | Disallow: / wp-content / |
| 29 | Disallow: / search / * / feed |
| 30 | Disallow: / search / * / * |
| 31 | Disallow: / *? |
| 32 | Disallow: / *? |
| 33 | Disallow: / readme.html |
| 34 | Disallow: / license.txt |
| 35 | Disallow: / * php $. |
| 36 | Disallow: / * $ js. |
| 37 | Disallow:. / Inc * $ |
| 38 | Disallow: / * CSS $. |
| 39 | Disallow:. / * Gz $ |
| 40 | Disallow:. / * $ Wmv |
| 41 | Disallow: / cgi * $. |
| 42 | Disallow: / * $ xhtml. |
| 43 | Allow: / wp-content/uploads o |
| 44 | Permitir: / * la página = * |
| 45 | |
| 46 | Número Sitemap |
| 47 | Mapa del sitio: http://markbeljaars.com/sitemap.xml.gz~~HEAD=NNS |
| 48 | |
| 49 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 50 | # |
| 51 | # Archivo robots.txt generado por iRobots.txt SEO v1.0 |
| 52 | # Beljaars por Marcos |
| 53 | # |
| 54 | # ____ | | __ |. ________ |
| 55 | # | | | (_ | | | <| _) (/ _ | | (_ | (_ | | _ \ (_ (_). | | | |
| 56 | # _ | |
| 57 | # Http://markbeljaars.com/plugins/irobotstxt-seo |
| 58 | # |
| 59 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 60 | # |
| 61 | # Tenga en cuenta: |
| 62 | # Permitir la directiva y comodines (*) en nombres de archivo son |
| 63 | # Sintaxis de robots.txt no es estándar, sin embargo, son |
| 64 | # Con el apoyo de la mayoría de los nuevos motores de búsqueda. |
Instalación
- Descargue el plugin de http://markbeljaars.com/download/current/plugins/irobotstxt-seo.zip .
- Extraer y cargar el plug-in para sus
/wp-content/plugins/directorio y que se active - Editar la configuración de plugins usando la página de administración situado bajo
Settings.
Imágenes
Página de configuración
Configuración
Opciones generales- Utilice la definición estricta estándar robots.txt: El funcionario de la definición robots.txt identifica específicamente a los directorios o archivos de un motor de búsqueda no pueden indexar y no incluye las directrices para detallar los archivos que un motor de búsqueda de índice puede. Google ha ampliado la definición para incluir un
allowla Directiva y también permite comodines en nombres de archivo. Aunque no es con apoyo oficial, la norma enmendadas que se entiende por mayoría de los motores de búsqueda. - Agregar automáticamente el mapa del sitio web en el archivo robots.txt: Sitemaps de informar a los motores de búsqueda de la estructura del sitio y también le permiten estimar la frecuencia de sus páginas va a cambiar. Es evidente que los motores de búsqueda encontrar este tipo de información útil. El protocolo Sitemap se define aquí . Sitemaps puede ser el producto automático de plugins de WordPress como Google XML Sitemaps Generator .
- Inhibición de la indexación de las carpetas del sistema de WordPress: WordPress carpetas del sistema, como el plugin y los directorios de contenido no son palabras clave optimizada y por lo tanto no deben ser indexados por un motor de búsqueda. Además, las carpetas del sistema de indexación puede presentar un riesgo para la seguridad.
- No permita que el contenido duplicado: WordPress tiene muchas maneras de mostrar el mismo puesto, como por etiqueta, por categoría o por autor. Esto parece a Google como varias páginas con el mismo contenido. Se discute que Google no le gustan los sitios con gran cantidad de contenido duplicado, pero por otro lado también se debatió que Google le gustan los sitios con muchas páginas. Utilice esta opción para inhibir o permitir algún contenido duplicado.
- Deje que Google Adsense para acceder a todo el sitio: Google Adsense determina automáticamente qué anuncios son relevantes para su audiencia mediante el rastreo de los contenidos de su sitio. Dar acceso completo AdSense en su sitio puede dar lugar a anuncios más orientados. No haga caso de esta opción si no se ha implementado Adsense.
- Inhibición de la indexación por el Archivo de Internet: El Internet Archive es una organización sin fines de lucro con fines de archivar toda la información en Internet a intervalos regulares. Se especula que Google utiliza el Internet Archive para determinar la edad de un sitio web para ayudar a definir un sitio de autoridad \ 's. Algunos expertos en SEO recomiendan que el Archivo de Internet puede desactivar la indexación de sitio web de jóvenes. El Archivo de Internet también plantea cuestiones de control de documentos (versiones antiguas de tus mensajes pueden ser archivados), los derechos de propiedad intelectual y la privacidad.
- Inhibición de la indexación de la imagen: Si lo desea, para inhibir los motores de búsqueda indexen las imágenes si las imágenes son propiedad, han sido dudosamente obtenido (que infringe los derechos de autor), no están relacionados con su sitio o no son susceptibles de generar tráfico. Marketing de afiliados puede también encontrar que las imágenes pueden generar tráfico no directo lo que afecta a un sitio de relación \ 's de la conversión.
- Inhibición de la indexación por el espejo Dugg: Duggmirror ofrece un espejo de las historias más populares en Digg.com. Los sitios están a menudo sobrecargados por la cantidad de tráfico de Digg envía a su manera, haciendo que la página web deje de estar disponible. Para aliviar el llamado "efecto digg" Duggmirror alberga un espejo de las historias más populares de ponerlos a disposición de los usuarios de Digg. El problema es que Google puede indexar la página DuggMirror antes de la fuente y dirigir el tráfico de su sitio inturn al espejo.
Configuración avanzada
Registros personalizados se pueden agregar o eliminar el archivo robots.txt usando este formulario. Una lista completa de los agentes de usuario se puede encontrar en http://www.user-agents.org/~~V . Ejemplos de cadenas directiva robot.txt (el texto que va después de que el permitir o no permitir las directivas) se puede encontrar en http://www.robotstxt.org/robotstxt.html . Google \ 's no oficiales extensiones se describen en detalle en esta entrada del blog . Tenga en cuenta que todas las directivas permiten que los registros y las cadenas de la directiva, incluyendo expansión de comodines comodín se ignorará si el uso estricto de la definición estándar robots.txt está seleccionado.
Ver Robots.txt
Ver o editar el archivo robots.txt completo virtual.
- Habilitar la edición de forma libre: permite la edición manual del archivo robots.txt. Se debe tener precaución como un archivo robots.txt mal formado puede ser un grave efecto posicionamiento en los buscadores. Tenga en cuenta que la edición de forma gratuita una vez que está activado, la modificación de los ajustes de configuración general y avanzada se inhibe. Además, cuando de forma libre está desactivado, los cambios manuales en el archivo robots.txt se perderán.
Preguntas frecuentes
¿Tiene iRobots.txt SEO crear o modificar los archivos?
No. El archivo robots.txt serverd por IRSEO es virtual única. Su sitio se mantendrá sin modificaciones una vez que el plugin ha sido eliminado.
¿Dónde puedo obtener más información sobre robots.txt?
El sitio robots.txt información oficial es http://www.robotstxt.org/~~V . Las extensiones de Google robots.txt se documentan aquí .
¿Puedo liberar a editar el archivo robots.txt?
Sí. En el "Robots.txt Ver" panel de configuración de administración, seleccione la opción "Habilitar la edición de forma libre" opción. Ahora será capaz de modificar directamente el archivo robots.txt de dentro de este panel.
Historial de revisiones
1.1.2- Añadir traducción bielorruso por Marcis G . Gracias Marcis.
- Corregido un fallo en archivo cerca de la función irseo_file_exists que ha provocado un error en algunos blogs.
- Añadida la opción de permitir o filtrar el contenido duplicado.
- Ahora es posible para liberar a editar el archivo robots.txt desde el panel de administración del plugin.
- El archivo robots.txt está servida si la dirección URL o no contienen el prefijo "www". Comparación de URL es ahora también mayúsculas y minúsculas.
- Añadido 'sitemap.xml.gz "a los robots permiten todas las secciones.
- XML Sitemap plugin de advertencia ahora se oculta, si el archivo robots.txt virtual es servido correctamente.
- El código de PHP ha sido completamente comentado.
- Añadido nonce y administrador ver a todas las configuraciones de panel de administración de cambios (por motivos de seguridad).
- Movido todas las opciones en una sola matriz asociativa que resulta en más pequeño y más fácil de seguir el código con menos llamadas a la mesa de opción.
- Corregido un fallo que detuvo la carga de la página de administración en algunos sistemas.
- Añadido enlace "Configuración" al menú de plug-in usando el código proporcionado por Jay .
- Eliminado PHP5 stream_get_contents función y se reemplaza con fgets compatibles hacia atrás como sugieren Jay .
- Ahora detecta presense de XML Sitemap Generator y si existe publicar un aviso explicando que este plugin también genera un archivo robots.txt virtual. XML Sitempas tiene una opción para deshabilitar la generación de archivos robots.txt. Una vez más, gracias a Jay de esta información.
- Corregido define, nombres de las funciones y las cadenas i10n en conflicto con el plugin TOCC.
- Modificado administración encabezados de sección de configuración para expandir la sección, si hace clic en cualquier lugar dentro de la cabecera.
- Versión pública inicial.
Agradecimientos
Deseo reconocer la valiosa asistencia ofrecida por las siguientes personas:
- Marcis G. de proporcionar el archivo de traducción bielorruso.
Comentarios
Por favor, hágamelo saber lo que piensa. Deja un comentario si usted tiene una característica solicitada, que se encuentra un error o necesita algo de ayuda. Todos son bienvenidos.
31 Responses to "iRobots.txt SEO"
Trackbacks / Pingbacks.
- . - 06 Diciembre de 2010
[...] Es sobre nosotros hoy en día. Lo que voy a estar cubriendo hoy en día es la letra I para el código abreviado CF Enlace Interno y iRobots.txt plug-ins. Estos plug-in son bastante sencillo por lo que no hay dos aquí [...]
- - 23. Abril de 2010
[...] IRobots.txt SEO: es un generador de robots.txt totalmente personalizable de archivos virtual. IRSEO crea un archivo robots.txt altamente optimizado y seguro hacia afuera de la caja. Los usuarios pueden optar por activar o desactivar los agentes específicos de usuarios, directorios o archivos con opciones intuitivas todos los cuales incluyen instrucciones detalladas. [...]
- - 05. Febrero de 2010
[...] IRobots.txt SEO [...]
- - 29. Jan, 2010
Comentarios sociales y análisis para este post ...
Este post ha sido mencionado en Twitter por buildweb: iRobots.txt SEO - MarkBeljaars.com: 9 de diciembre de 2009 ... iRobots.txt SEO es un totalmente personalizable robots.txt vir .. http://bit.ly/8NVwso # seo ...
- - 23. Diciembre de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Diciembre de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Diciembre de 2009
[...] Recomiento probarlo. Descargar iRobots.txt SEO. Compatir Con Tus [...]
- - 13. Diciembre de 2009
[...] Con opciones intuitivas, todos los cuales incluyen instrucciones detalladas. Descarga y más información en: iRobots.txt SEO - MarkBeljaars.com __________________ correo [...]
- - 12. Diciembre de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 12. Diciembre de 2009
[...] Wenn Du bist hier neu, möchtest Du vielleicht unseren RSS abonnieren.Powered por WP Greet BoxiRobots.txt SEO von Marcos Beljaars ist ein virtual de robots.txt Datei Creador. Características Zu den des WordPress Plugins [...]
- - 11. Diciembre de 2009
[...] SEO 11. December 2009 | Autor: KHK iRobots.txt SEO vo Marcos Beljaars ist ein virtial robots.txt Datei Creador. Zu den Características gehören unter [...]
- - 09. Diciembre de 2009
[...] Más: iRobots.txt SEO - MarkBeljaars.com Comentarios0 Deja un comentario Clic para cancelar [...]
- - 09. Diciembre de 2009
[...] Todos los detalles del plug-in se puede encontrar en http://markbeljaars.com/plugins/irobotstxt-seo/ . [...]
Hola estoy un poco confundido acerca de cómo iRobots.txt SEO funciona cuando el plugin de Google XML Sitemaps es instalado.
Si el plugin iRobots ser instalado después de que el Google XML Sitemaps plugin para habilitar el plugin Sitemaps para ser detectado?
¿Existe un potencial de conflicto que requiere la configuración de uno de los dos plugins para ser cambiados? Si lo que la configuración de plug-in en el que?
Le agradecería que para cualquier aclaración.
Gracias
Hola Nick,
La única cosa que Google XML Sitemaps hace es agregar una sola línea hasta el final del archivo robots.txt que apunta al mapa del sitio XML. Si se deshabilita XML sitemaps de no tocar el archivo robots.txt (anulando la selección de "URL del sitio para agregar al archivo robots.txt virtual." Dentro de la configuración en XML Sitemaps), entonces iRobots agregará automáticamente esta entrada para que si detecta que Google XML Sitemap plugin de está instalado.
Espero que esto ayude,
Mark.
Hola, tengo el plugin instalado y mysite.com / robots.txt se presenta bien, pero cuando hago clic en la configuración del plugin, tengo una página de error de WordPress que simplemente dice: "Usted no tiene permisos suficientes para acceder a esta página. "
¿Alguna idea?
Hola JoJo. I utiliza nonces como medida de seguridad adicional para detener los ataques XSS de modificar el archivo robots.txt. Como una solución rápida, usted puede ser capaz de editar el archivo PHP plugin y eliminar el siguiente texto (que aparece varias veces en el código) ...
Check_admin_referer && ('irseo-cambio-opciones-nonce')
Esto desactivará nonces. Esto me parece muy extraño, aunque como nonces tienden a funcionar bien en WordPress. Por favor, hágamelo saber si este "arregla" el problema.
Gracias,
Mark.
Hola He instalado el enchufe y que se active, pero los motores de búsqueda no se arrastra en mi sitio web una página lo que es el problema. Yo uso Google herramienta web master puedo añadir a mis mapa, pero el msg parece que estamos limitados por el robot.txt. plz help me. Mi enlace para robots y mapa del sitio es
http://reviewaccounting.com/robots.txt
http://reviewaccounting.com/sitemap.xml.gz
plz me dicen qué hacer
estoy a la espera de su respuesta
Lo siento por la respuesta tardía. Akismet ha marcado su mensaje como spam, debido a los múltiples vínculos y sólo comprobar los correos electrónicos no deseados una vez por semana o así antes de eliminarlos.
Revisé el archivo robots.txt y se ve bien. En las herramientas para webmasters, en el sitio de configuración / rastreador de acceso, seleccione una prueba a su sitio para el agente de usuario Googlebot. He probado el archivo robots.txt exacta y dice que se permite Googlebot para rastrear el sitio.
Si usted sospecha que el complemento está causando problemas, desactivar el plugin y ver si el problema persiste. Es perfectamente comprensible que no se dispone de un archivo robots.txt, sin embargo, Google indexará todas las páginas de administración tus etc
El acceso restringido también puede ser causada por el. Htaccess.
Mark.
Hola marca,
He instalado el enchufe, pero no lo puede ver en cualquier lugar de la fuente.
Si yo no lo veo ¿significa eso que no está funcionando?
Hola Natalia,
¿Puede explicar esto un poco más? ¿Tiene opciones iRobots.txt en el panel de configuración de administrador? Puede comprobar si el plugin está trabajando escribiendo lo siguiente en un navegador:
http://yoururl/robots.txt
Por ejemplo, el archivo robots.txt de mi sitio web se encuentra en: http://markbeljaars.com/robots.txt .
Si el archivo robots.txt no existe, podría haber tres posibles razones:
1. El plug-in no se pudo instalar por alguna razón. Retire la instalación anterior, entonces intente descargar desde mi sitio. A continuación, seleccione plugins / añadir nuevo desde el panel de administración y haga clic en el enlace de subida. Sube el archivo zip y activar.
2. El tema está ignorando las peticiones de archivos virtuales.
3. Su. Htaccess está bloqueando el archivo robots.txt.
Mark.
Marcos,
Acabo de instalar el plugin y me sale el siguiente error.
Advertencia: fclose (): suministra argumento no es un recurso de tipo stream en / Library / WebServer / Documents / xxxxxxx / wp-content / plugins / irobotstxt-seo / irobotstxt seo.php-en la línea 322
Ejecución de WP 2.9.1. ¿Alguna idea?
Andy
Hola Andy,
No he visto este error antes. ¿Qué versión de PHP que se ejecuta? Si usted es feliz editar archivos de PHP, puede simplemente eliminar esta línea y el plug-in debería empezar a trabajar (en PHP, los archivos se cierra automáticamente si el programador se olvida de cerrarlos). En cualquier caso, voy a arreglar el código de esta noche (hora de Australia) y cargar una nueva revisión.
Mark.
Hola Andy,
Me acaba de lanzar una actualización que corrige este error y agrega una nueva opción para no permitir el contenido duplicado. Es de esperar que funciona bien para usted ahora.
Mark.
Hola, tengo una pregunta, cuando se utiliza el plugin y crear el archivo robots.txt, tiene su plugin de subirlo al directorio de sitios web, o tengo que copiar el archivo y subirlo a través http://FTP. .
Gracias, el plugin robots.txt mejor hasta ahora.
Hola Jadah,
El archivo robots.txt es en realidad un archivo virtual. El plugin detecta cuando alguien (o somebot) está tratando de mostrar la http://www.website/robots.txt archivo e intercepta a esta solicitud. El plug-in entonces en vez genera una secuencia de texto que hace que parezca que el archivo está siendo enviada. De esta manera, se notihing que necesita para subir. Además, cualquier cambio en el archivo robots.txt se immidiately reflejada. Hay una captura con este método, aunque. Si un archivo robots.txt físico existe (es decir, que usted ha subido FTP), entonces esto siempre se mostrará en lugar del archivo virtual. Esto significa que usted tendrá que borrar (o renombrar) los archivos robots.txt físicas para utilizar este plugin.
Espero que esto ayude,
Mark.
Tengo una pregunta. Me di cuenta en mi cuenta de Google Webmaster Tools de Google de que no puede acceder al "sitemap.xml.gz" archivo, ya que está restringido por el archivo robots.txt genrated por su plugin. (Mis mapas de sitio son generados por el "Google XML Sitemaps" plug-in y "Añadir sitemap a robots.txt virtual," no está marcada como instruir a).
Comprobación del texto del archivo robots.txt generado el informe indica la ubicación del mapa del sitio como "just-thinkin.net/sitemap.xml.gz" (no tengo tanto "sitemap.xml" y "sitemap.xml.gz" en mi directorio raíz), sin embargo, bloquea el acceso a este mapa mismas por la entrada "Disallow:. / * gz $".
A pesar de que Google puede acceder a mi "sitemap.xml" archivo bien todavía estoy confundido en cuanto a por qué la ubicación del sitio aparece en el archivo robots.txt se genera deliberadamente bloqueada para todos los bots, al mismo tiempo. ¿Es esto realmente cómo las cosas se supone que funciona? Google siempre fue capaz de acceder a los dos mapas de sitio cuando utilizo el robots.txt viejo manual (el viejo tenía un problema con la validez que nunca pude rastrear).
Gracias por un plugin muy bien BTW.
Hola Kirk. Gran trabajo de detective! Usted, por supuesto, completamente correcto. El no permitir el no dejar de todos los archivos. Gz, se rastreen. La razón. Gz son normalmente permitida es asegurar que los archivos de copia de seguridad (GZ es una extensión para archivos comprimidos) no se indexan. Voy a arreglar este conflicto en la próxima versión. Esto debe ser debido en una semana menos de una, y permitirá la libre-forma de edición del archivo robots.txt resultante.
En el ínterin, se puede solucionar este problema mediante la apertura de la iRobots SEO página de configuración y seleccionar "Configuración avanzada". En el cuadro de texto agente, escriba "*". Seleccione "permitir que:" en el menú desplegable y escriba "/ sitemap.xml.gz" en el cuadro de texto al lado del menú desplegable. Finalmente presione el botón "Añadir Registro personalizado".
Al ver el archivo robots.txt resultante, debería ver un par de líneas como estas:
# Custom RecordsUser-agent: *
Allow: /sitemap.xml.gz
Espero que esto ayude.
Buena oferta y gracias por trabajar en una nueva versión. He añadido el registro personalizado. Funciona bien.
yo te apoyo, mejor si se puede permitir la edición libre ..
Sevi buena idea. Se sumará la edición de la libertad de la próxima versión.
Mark.