iRobots.txt SEO
Última versión de descarga: 1.1.2 (actualizado o 13 de xuño de 2010)
Características | Captura de pantalla | Descargar | Configuración | FAQ | Comentarios | Demostración
Versión 1.1 agora lanzado! Esta versión ten varias melloras sobre a versión. O máis notable é a capacidade de editar directamente o arquivo robots.txt. Para unha lista completa de outras melloras, consulte a sección de cambios a continuación.
Please Help! Asistencia na interpretación ou só suxerindo novas características sería moi apreciado. Toda a asistencia será recoñecida na páxina de configuración con un enlace para o seu sitio. Por favor, rexístrese o seu interese a través do Contact Me páxina ou como un comentario a continuación. Grazas.
Se vostede atopa a extensión útil, por favor vote por el aquí .
Características
iRobots.txt SEO (IRSEO) é totalmente personalizable robots.txt xerador de arquivo virtual. IRSEO crea un arquivo robots.txt moi optimizada e segura en liña recta fóra da caixa. Os usuarios poden optar por activar ou desactivar axentes de usuario específico, os directorios ou ficheiros mediante opcións intuitivas todos con instruccións detalladas.
O arquivo robots.txt é un arquivo de texto situado no directorio raíz dun sitio web. O seu obxectivo é dirixir user-axentes (bots aka) para lonxe ou para arquivos ou directorios específicos. Bot un inhibidor de indexación de páxinas específicas pode garantir a súa web permanece contrasinal optimizadas e todas as páxinas indexadas son relevantes para os seus clientes potenciais.
IRSEO tamén inhibe varios directorios e ficheiros do sistema WordPress por defecto. Isto garante que os bots de busca non incluír páxinas de seguridade sensibles nos resultados de busca. Por exemplo, en busca de inurl: wp-content descrición de tamaño nome en Google xerará unha lista de sitios con directorios de contido indexado e aberto.
Nótese que IRSEO crea un arquivo robots.txt virtual. Este ficheiro robots.txt é exhibida cando o acceso ao arquivo robots.txt é solicitada.
Descargar
Última versión: 1.1.2
Require, polo menos: WordPress 2.7
Proba ata 2.9.2
O plugin pode, alternativamente, pode descargar do repositorio de plugin WordPress .
Vostede é libre de usar o plugin baixo os termos especificados polo GPL .
Exemplo de arquivo robots.txt
| 1 | ################################################## ##### |
| 2 | # IRobots.txt SEO |
| 3 | |
| 4 | # Imaxe Google |
| 5 | User-agent: Google-Image |
| 6 | Allow: / |
| 7 | Disallow: |
| 8 | |
| 9 | # Google AdSense |
| 10 | User-agent: Mediapartners-Google * |
| 11 | Allow: / |
| 12 | Disallow: |
| 13 | |
| 14 | # Archive Internet Wayback Machine |
| 15 | User-agent: * ia_archiver |
| 16 | Allow: / |
| 17 | Disallow: |
| 18 | |
| 19 | # Digg Espello |
| 20 | User-agent: duggmirror |
| 21 | Disallow: / |
| 22 | |
| 23 | # Todos os Motores de búsqueda |
| 24 | User-agent: * |
| 25 | Disallow: / cgi-bin |
| 26 | Disallow: / wp-admin / |
| 27 | Disallow: / wp-includes / |
| 28 | Disallow: / wp-content / |
| 29 | Disallow: / search / * / feed |
| 30 | Disallow: / search / * / * |
| 31 | Disallow: / * * |
| 32 | Disallow: / *? |
| 33 | Disallow: readme.html / |
| 34 | Disallow: / license.txt |
| 35 | Disallow: / *. php $ |
| 36 | Disallow: / *. js $ |
| 37 | Disallow: / *. inc $ |
| 38 | Disallow: / *. css $ |
| 39 | Disallow: / *. gz $ |
| 40 | Disallow: / *. rar $ |
| 41 | Disallow: / *. cgi $ |
| 42 | Disallow: / *. xhtml $ |
| 43 | Allow: / wp-content/uploads / |
| 44 | Permitir:? / Páxina * =* |
| 45 | |
| 46 | Mapa do web # |
| 47 | Sitemap: http://markbeljaars.com/sitemap.xml.gz |
| 48 | |
| 49 | ################################################## ##### |
| 50 | # |
| 51 | # Arquivo robots.txt xerado polo iRobots.txt SEO v1.0 |
| 52 | # Por Mark Beljaars |
| 53 | # |
| 54 | # _ _ _ _ | | _ _ |. _ _ _ _ _ _ _ _ |
| 55 | # | | |(_|| | <|_)(/_||(_|(_|| _ \ .(_(_)| | | |
| 56 | # _ | |
| 57 | # Http: / / markbeljaars.com / plugins / irobotstxt-seo |
| 58 | # |
| 59 | ################################################## ##### |
| 60 | # |
| 61 | # Nota: |
| 62 | # A directiva Permitir e comodíns (*) son en nomes de arquivos |
| 63 | # Non sintaxe de robots.txt defecto, pero son |
| 64 | # Admitido pola maioría dos novos motores de busca. |
Instalación
- Fai a descarga do plugin de http://markbeljaars.com/download/current/plugins/irobotstxt-seo.zip .
- Extraer e facer a carga do plugin para o seu
/wp-content/plugins/directorio e activa-lo - Editar a configuración de complemento a través da páxina de administración situado baixo
Settings.
Imaxes
Páxina de configuración
Configuración
Opcións Xerais- Use definición estándar estrito robots.txt: O funcionario definición robots.txt identifica especificamente cales directorios ou ficheiros de un motor de procura non poden indexar e non inclúe calquera directivas para detallar cales ficheiros un motor de procura de índice pode. Google expandiuse para incluír a definición dunha
allowdirectiva e tamén permite comodíns en nomes de arquivos. A pesar de non ser oficialmente soportado, a norma modificada é entendida pola maioría dos motores de busca. - Engadir automaticamente sitio web sitemap ao arquivo robots.txt: Sitemaps informar os motores de busca da estrutura do seu sitio web e tamén permite que para estimar cantas veces súas páxinas vai cambiar. Obviamente buscadores atopar este tipo de información benéfica. O protocolo de sitemap é definido aquí . Sitemaps poden ser automaticamente producido por WordPress plugins, como Google XML Sitemaps Generator .
- Inhibición a indexación de carpetas do sistema WordPress: cartafoles do sistema WordPress, como a extensión e directorio de contidos non son optimizados contrasinal e, polo tanto, non deben ser indexadas por un buscador. Ademais, as carpetas do sistema de indexación pode implicar un risco de seguridade.
- Non permita que o contido duplicado: WordPress ten moitas formas de ver o mesmo cargo, ata por tag, por categoría ou autor. Isto parece Google como varias páxinas co mesmo contido. É debatido que Google non gusta de sitios con lotes de contido duplicado, pero por outra banda tamén é debatido que Google gusta de sitios con moitas páxinas. Utilice esta opción para inhibir ou permitir algún contido duplicado.
- Permitir que Google AdSense para acceder web enteiro: Google Adsense determina automaticamente cales anuncios son relevantes para o seu público a través da indexación do contido do seu sitio. Dando pleno acceso AdSense no seu sitio pode producir anuncios máis dirixidos. Ignore esta opción se non aplicou AdSense.
- Inhibición a indexación polo Internet Archive: O Internet Archive é unha organización sen ánimo de lucro con obxectivos de arquivar toda a información en Internet a intervalos regulares. Especúlase que Google usa o Internet Archive para determinar a idade de un sitio web para axudar na definición dun sitio web \ 's autoridade. Algúns especialistas recomendan que o SEO Internet Archive ser desactivado a partir de indexación web mozos. O Internet Archive tamén levanta cuestións de control de documentos (versións dos seus artigos poden ser arquivadas), dereitos de propiedade intelectual e privacidade.
- Inhibición a indexación de imaxe: Pode querer inhibición os motores de busca indexar súas imaxes as imaxes son de dereitos de autor, foron obtidos dubidosa (que infrinxe dereitos de autor), non son relacionadas ao seu sitio web ou non son susceptibles de xerar tráfico. Marketing afiliado tamén pode considerar que as imaxes poden xerar tráfico untargeted afectando un sitio \ 's taxa de conversión.
- Inhibición a indexación polo espello Dugg: Duggmirror ofrece un espello para as historias máis populares no Digg.com. Sitios son moitas veces resaltado pola cantidade de tráfico de Digg envía o seu camiño, facendo que a páxina sexa dispoñible. Para aliviar o chamado "efecto digg" Duggmirror hosts un espello das historias máis populares converténdose os dispoñibles para os usuarios Digg. O problema é que o Google pode indexar a páxina DuggMirror antes da fonte e targeted o tráfico inturn de sitio para o espello.
Configuración Avanzada
Rexistros personalizados poden ser engadidos ou eliminados do arquivo robots.txt usando este formulario. A lista completa de axentes de usuario que se pode acceder en http://www.user-agents.org/ . Exemplos de cadeas de directiva robot.txt (o texto que vai tras a permitir ou non permitir directivas) pódense atopar en http://www.robotstxt.org/robotstxt.html . Google \ 's non oficiais extensións son descritas en detalle neste post do blog . Teña en conta que todos os rexistros permiten directiva e cordas directiva incluíndo globbing curinga será ignorado se a opción Usar definición estándar estrito robots.txt é seleccionado.
Ver robots.txt
Ver ou editar o ficheiro robots.txt virtual completo.
- Permitir a edición de forma libre: Permite a edición manual do ficheiro robots.txt. Hai que ter coidado como un arquivo robots.txt mal formado pode seriamente efecto motor de busca rankings. Nótese que unha vez libre de edición do formulario está activado, a modificación das opcións de configuración xeral e avanzada é inhibido. Ademais, cando de forma libre é desactivado, os cambios manuais para o arquivo robots.txt será perdido.
FAQs
Fai iRobots.txt SEO crear ou modificar os arquivos?
Non o arquivo robots.txt servidas por IRSEO é virtual só. O seu sitio permanecerá inalterado xa que a extensión é eliminado.
Onde podo aprender máis sobre robots.txt?
A web de información oficiais robots.txt é http://www.robotstxt.org/ . As extensións de Google robots.txt son documentados aquí .
Podo libre editar o arquivo robots.txt?
Si Na "View robots.txt" panel de configuración admin, seleccione a opción "Activar edición de forma libre" opción. Agora vai ser capaz de modificar directamente o arquivo robots.txt dentro do taboleiro.
Historial da Revisión
1.1.2- Engadir Belorussian tradución de Marcos G . Grazas Marcos.
- Bug de arquivo suxeito preto en función irseo_file_exists que causou un erro nalgúns blogs.
- Engadido opción de permitir ou filtro de contido duplicado.
- Agora é posible para liberar editar o arquivo robots.txt de dentro do panel de administración do plugin.
- O arquivo robots.txt é agora servindo o URL ou non conter o prefixo "www". Comparación URL agora tamén é case insensitive.
- Engadido "sitemap.xml.gz 'para permitir que todos os robots sección.
- XML aviso de extensión Mapa web agora está oculto o arquivo robots.txt virtual é servido correctamente.
- O código php agora foi totalmente comentado.
- Engadido nonce e admin de selección para todas as configuracións do taboleiro de administración de cambios (para fins de seguridade).
- Mudouse a todas as opcións nunha única matriz asociativa, resultado de menores e máis fáciles de seguir código con menos chamadas a mesa opción.
- Arranxado o problema que deixou a páxina de administración de carga nalgúns sistemas.
- Engadido ligazón "Configuración" ao menú de plugin usando código fornecido polo Jay .
- Eliminadas PHP5 stream_get_contents función e substituído por tras fgets compatibles como suxerido por Jay .
- Agora detecta a presenza de XML Sitemap Generator e se hai pos un aviso explicando que este plugin tamén xera un arquivo robots.txt virtual. XML Sitempas ten unha opción para desactivar a xeración do ficheiro robots.txt. Unha vez máis, grazas Jay para este producto.
- Fixa define nomes, función e cadeas i10n en conflito co plugin Tocco.
- Modificado cabeceiras de sección de administración configuración para expandir sección se premendo en calquera lugar dentro da cabeceira.
- Lanzamento público inicial.
Agradecementos
Gustaríame agradecer a axuda preciosa prestada polas seguintes persoas:
- Marcos G. para facilitar o ficheiro de tradución Belorussian.
Comentarios
Por favor, deixe-me saber o que pensa. Deixe un comentario se ten un recurso solicitado, atopou un erro ou precisa de axuda. Todos son benvidos.
31 Responses to "iRobots.txt SEO"
Trackbacks / Pingbacks.
- - 06. Decembro de 2010
[...] É en riba de nós hoxe. O que vou facer a cobertura de hoxe é a letra I para CF shortcode conexión interna e iRobots.txt plug-ins. Estes plugin son moi sinxelo que é por iso que hai dous aquí [...]
- - 23. Abril de 2010
[...] IRobots.txt SEO: é un totalmente personalizable robots.txt xerador de arquivo virtual. IRSEO crea un arquivo robots.txt moi optimizada e segura en liña recta fóra da caixa. Os usuarios poden optar por activar ou desactivar axentes de usuario específico, os directorios ou ficheiros mediante opcións intuitivas todos con instruccións detalladas. [...]
- - 05. Febreiro de 2010
[...] IRobots.txt SEO [...]
- - 29. Xan, 2010
Comentarios e análise sociais para este post ...
Este post foi mencionado en Twitter por buildweb: iRobots.txt SEO - MarkBeljaars.com: 09 de decembro de 2009 ... iRobots.txt SEO é un totalmente personalizable robots.txt vir .. http://bit.ly/8NVwso # seo ...
- - 23. Decembro de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Decembro de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Decembro de 2009
[...] Recomiento probarlo. Descargar iRobots.txt SEO. Compat con Tus [...]
- - 13. Decembro de 2009
[...] Utilizando as opcións intuitivas, que inclúen instrucións detalladas. Descarga e máis información en: iRobots.txt SEO - MarkBeljaars.com Correo __________________ [...]
- - 12. Decembro de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 12. Decembro de 2009
[...] Wenner Du bist hier Neu, möchtest Du vielleicht unseren Feed RSS abonnieren.Powered by wp Greet BoxiRobots.txt SEO von Mark ist ein Beljaars virtuais robots.txt Datei Creador. Zu den Características Plugins WordPress des [...]
- - 11. Decembro de 2009
[...] SEO 11. Dezember 2009 | Autor: KHK iRobots.txt SEO vo Mark ist ein Beljaars virtial robots.txt Datei Creador. Zu den Unter gehören Características [...]
- - 09. Decembro de 2009
[...] Máis: iRobots.txt SEO - MarkBeljaars.com Comments0 Leave a Reply Faga clic aquí para cancelar a [...]
- - 09. Decembro de 2009
[...] Todos os detalles sobre a extensión pódese atopar en http://markbeljaars.com/plugins/irobotstxt-seo/ . [...]
Ola eu son un pouco confuso sobre como iRobots.txt SEO funciona cando Google XML Sitemaps do plugin está instalado.
Se a extensión iRobots instalar tras a extensión Google Sitemaps XML para activar o plugin Sitemaps para ser detectado?
Existe un potencial de conflito que require a configuración nun dos dous plugins para ser cambiado? Se a configuración en que plugin?
Quedaría moi grata por calquera aclaración.
Grazas
Ola Nick,
O único que Google XML Sitemaps fai é engadir unha soa liña ao final do arquivo robots.txt apuntando para o mapa do sitio XML. Se desactivar XML Sitemaps de tocar o arquivo robots.txt (desmarcada "URL sitemap Engadir ao arquivo robots.txt virtual." Dentro da configuración XML-Sitemaps), entón iRobots automaticamente engadir esta entrada para ti, se detectar que Google XML Sitemaps plugin está instalado.
Espero que isto axude,
Mark.
Ola, eu teño a extensión instalado e mysite.com / robots.txt mostra-se ben, pero cando clic nas opcións de extensión, eu recibín unha páxina de erro WordPress que simplemente di: "Non ten permisos suficientes para acceder a esta páxina. "
Algunha idea?
Ola JoJo. I utiliza nonces como unha medida de seguridade adicional para deixar os ataques XSS de modificar o arquivo robots.txt. Como unha solución rápida, pode ser capaz de editar o arquivo PHP plugin e suprimir o seguinte texto (que aparece varias veces durante todo o código) ...
& & Check_admin_referer ('irseo-change-opcións-nonce ")
Isto pode desactivar nonces. Creo que moi raro aínda que como nonces tenden a funcionar ben no WordPress. Por favor, deixe-me saber se este "corrixe" o seu problema.
Grazas,
Mark.
Ola eu teño instalado o plug in e activa-lo, pero os motores de busca non están rastreando no meu sitio calquera páxina que está o problema. Eu uso Google web ferramenta de mestre eu engadir o meu sitemap pero a mensaxe parece que estamos restrinxidos polo robot.txt. plz me axudar. O meu link para os robots e é sitemap
http://reviewaccounting.com/robots.txt
http://reviewaccounting.com/sitemap.xml.gz
plz me diga o que facer
Estou esperando pola súa resposta
Desculpen a resposta tardía. Akismet marcara a súa mensaxe como spam, debido á varios enlaces e eu só comprobar o correo de spam, unha vez por semana ou así antes de borralos.
Eu verifiquei o seu arquivo robots.txt e parece OK. En ferramentas webmaster, baixo a configuración de acceso ao sitio web / rastreador, seleccione proba para probar seu sitio web para o user agent Google. Eu proba o seu arquivo robots.txt exacta e di Google está permitido para rastrexar o sitio.
Se sospeita que o plugin está causando problemas, de-activar o plugin para ver se o problema aínda permanece. É perfectamente OK para non ter un arquivo robots.txt, porén o Google pode indexar todas as páxinas de administración etc
Acceso restrinxido tamén pode ser causado polo seu ficheiro htaccess ..
Mark.
Ola marca,
Teño instalado o plug in, pero non pode ve-lo en calquera lugar a fonte.
Se eu non vexo iso significa que non funciona?
Ola Natalie,
Pode explicar iso un pouco máis? Ten opcións iRobots.txt no panel de configuración do admin? Podes comprobar que a extensión funciona, escribindo o seguinte nun navegador:
http://yoururl/robots.txt
Por exemplo, o arquivo robots.txt do meu sitio está situado en: http://markbeljaars.com/robots.txt .
Se o ficheiro robots.txt non existe, pode haber tres razóns posibles:
1. O plugin non pode instalar por algún motivo. Eliminar a instalación anterior, entón probe facer a descarga do meu sitio. A continuación, seleccione plugins / add novo dende o panel de administración e prema na ligazón subida. Cargar o ficheiro zip e activar.
2. O seu tema é primordial solicitudes de arquivos virtual.
3. O seu. Htaccess está bloqueado o arquivo robots.txt.
Mark.
Mark,
Acaba de instalar o plugin e eu recibín o seguinte erro.
Warning: fclose (): indicado argumento non é un recurso válido no fluxo / Library / webserver / Documents / xxxxxxx / wp-content / plugins / irobotstxt-seo / irobotstxt-seo.php na liña 322
Execución WP 2.9.1. Algunha idea?
Andy
Ola Andy,
Eu non vin ese erro antes. Cal versión de PHP vostede está executando? Se vostede é feliz a edición de ficheiros PHP, pode simplemente eliminar esa liña eo plugin que comezar a traballar (en PHP, os arquivos son pechados automaticamente o programador esquecer de pecha-los). En todo caso, vou corrixir o código de esta noite (horario australiano) e subir unha nova revisión.
Mark.
Ola Andy,
Eu só lanzou unha actualización que corrixe o fallo e engade unha nova opción de non permitir contido duplicado. Esperemos que funciona Aceptar para vostede agora.
Mark.
Ola, eu teño unha pregunta, cando eu uso o plugin e crear o ficheiro robots.txt, fai o seu plugin faga a carga para o directorio sitios, ou eu teño que copiar o ficheiro e enviar a través http://FTP. .
Grazas, a extensión robots.txt mellor ata agora.
Ola Jadah,
O arquivo robots.txt é realmente un arquivo virtual. O plugin detecta cando alguén (ou somebot) está intentando mostrar a http://www.website/robots.txt arquivo e intercepta a solicitude. O plug-in, a continuación, en vez xera un fluxo de texto que fai que pareza que o arquivo está sendo enviado. Desta forma, hai notihing que precisa para subir. Ademais, os cambios no ficheiro robots.txt son inmediatamente reflectidas. Hai un pequeno problema con este método aínda. Se un ficheiro robots.txt físico existe (é dicir, aquel que ten FTP cargado), entón este será sempre aparece no lugar do arquivo virtual. Isto significa que ten que borrar (ou cambiar o nome) os arquivos robots.txt física para utilizar este plugin.
Espero que isto axude,
Mark.
Eu teño unha pregunta. Eu observei na miña conta de Google Webmaster Tools que Google non pode acceder ao "sitemap.xml.gz" ficheiro como ela é restrinxida polo arquivo robots.txt genrated polo seu plugin. (O meu Sitemaps son xerados polo "Google XML Sitemaps" plugin e "Engadir sitemap para virtual robots.txt" está desmarcada como instrúe).
Comprobar o texto do arquivo robots.txt xerou unha lista da localización do mapa do sitio como "just-thinkin.net/sitemap.xml.gz" (Eu teño tanto "sitemap.xml" e "sitemap.xml.gz" na miña directorio raíz), pero bloquea o acceso a este sitemap moito pola entrada "Disallow: / *. gz $".
Aínda que Google pode acceder ao meu arquivo "sitemap.xml" ben, eu aínda estou confuso sobre o porqué da situación sitemap listado no robots.txt xerado é conscientemente bloqueado para todos os robots, ao mesmo tempo. É iso realmente como as cousas deben funcionar? Google sempre foi capaz de acceder os dous Sitemaps ao usar o meu robots.txt manual de idade (o antigo tiña un problema con validez que eu non podería seguir cara abaixo).
Grazas por un plugin ben BTW.
Ola Kirk. Traballo gran detective! Vostede, por suposto completamente correcto. Non realizar a fai parar todos os ficheiros. GZ ser Rastrexar. A razón. GZ arquivos adoitan ser permitido é garantir que os ficheiros de copia de seguridade (gz é unha extensión usada para arquivos zip) non indexa. Vou corrixir este conflito o próximo lanzamento. Isto debe ser debido en menos dunha semana e vai permitir a edición de forma libre do arquivo robots.txt resultante.
Nese ínterim, pode resolver iso abrindo o iRobots SEO páxina de configuración e seleccionar "Configuración avanzada". No cadro de texto User Agent, escriba "*". Seleccione "permitir que:" no pull down e escriba "sitemap.xml.gz /" no cadro de texto ao lado do pulldown. Finalmente prema o botón "Add Custom Record".
Cando ver o arquivo robots.txt resultante, ten que ver un par de liñas como esta:
# Custom RecordsUser-agent: *
Allow: /sitemap.xml.gz
Espero que isto axude.
Bo negocio, e grazas por traballar nun novo lanzamento. Eu engade o rexistro personalizado. Funciona ben.
i apoia-lo, mellor se pode permitir a edición libre ..
Sevier boa idea. Engadirá edición gratuíta no seguinte lanzamento.
Mark.