iRobots.txt SEO
Última versão de download: 1.1.2 (atualizado em 13 de junho de 2010)
Características | Screenshot | Baixar | Configuração | FAQ | Comentários | Demonstração
Versão 1.1 agora lançado! Esta versão tem várias melhorias sobre a última versão. O mais notável é a capacidade de editar diretamente o arquivo robots.txt. Para obter uma lista completa de outras melhorias, por favor consulte a seção changelog abaixo.
Please Help! Assistência na interpretação ou apenas sugerindo novos recursos seria muito apreciada. Toda a assistência será reconhecido na página de configurações com um link fornecido para o seu site. Por favor, registre o seu interesse através do Contact Me página ou como um comentário abaixo. Obrigado.
Se você encontrar o plugin útil, por favor vote por ele aqui .
Características
iRobots.txt SEO (IRSEO) é totalmente personalizável robots.txt gerador de arquivo virtual. IRSEO cria um arquivo robots.txt altamente otimizada e segura em linha reta fora da caixa. Os usuários podem optar por ativar ou desativar agentes de usuário específico, os diretórios ou arquivos usando opções intuitivas todos com instruções detalhadas.
O arquivo robots.txt é um arquivo de texto localizado no diretório raiz de um website. Seu objetivo é direcionar user-agentes (robôs AKA) para longe ou para arquivos ou diretórios específicos. Bot um inibidor de indexação de páginas específicas irá garantir o seu website permanece palavra-chave otimizadas e todas as páginas indexadas são relevantes para seus clientes potenciais.
IRSEO também inibe vários diretórios e arquivos do sistema WordPress por padrão. Isso garante que os bots de busca não incluir páginas de segurança sensíveis nos resultados de pesquisa. Por exemplo, em busca de inurl: wp-content descrição de tamanho nome no Google irá produzir uma lista de sites com diretórios de conteúdo indexado e aberto.
Note-se que IRSEO cria um arquivo robots.txt virtual. Esse arquivo robots.txt é exibida sempre que o acesso ao arquivo robots.txt é solicitada.
Baixar
Última versão: 1.1.2
Requer pelo menos: WordPress 2.7
Testado até 2.9.2
O plugin pode, alternativamente, ser baixado do repositório do plugin WordPress .
Você é livre para usar o plugin sob os termos especificados pelo GPL .
Exemplo de arquivo robots.txt
| 1 | ################################################## ##### |
| 2 | # IRobots.txt SEO |
| 3 | |
| 4 | # Imagem Google |
| 5 | User-agent: Googlebot-Image |
| 6 | Allow: / |
| 7 | Disallow: |
| 8 | |
| 9 | # Google Adsense |
| 10 | User-agent: Mediapartners-Google * |
| 11 | Allow: / |
| 12 | Disallow: |
| 13 | |
| 14 | # Archiver Internet Wayback Machine |
| 15 | User-agent: * ia_archiver |
| 16 | Allow: / |
| 17 | Disallow: |
| 18 | |
| 19 | # Digg Espelho |
| 20 | User-agent: duggmirror |
| 21 | Disallow: / |
| 22 | |
| 23 | # Todos os Bots |
| 24 | User-agent: * |
| 25 | Disallow: / cgi-bin |
| 26 | Disallow: / wp-admin / |
| 27 | Disallow: / wp-includes / |
| 28 | Disallow: / wp-content / |
| 29 | Disallow: / search / * / feed |
| 30 | Disallow: / search / * / * |
| 31 | Disallow: / * * |
| 32 | Disallow: / *? |
| 33 | Disallow: readme.html / |
| 34 | Disallow: / license.txt |
| 35 | Disallow: / *. php $ |
| 36 | Disallow: / *. js $ |
| 37 | Disallow: / *. inc $ |
| 38 | Disallow: / *. css $ |
| 39 | Disallow: / *. gz $ |
| 40 | Disallow: / *. wmv $ |
| 41 | Disallow: / *. cgi $ |
| 42 | Disallow: / *. xhtml $ |
| 43 | Allow: / wp-content/uploads / |
| 44 | Permitir:? / Página * =* |
| 45 | |
| 46 | Mapa do site # |
| 47 | Sitemap: http://markbeljaars.com/sitemap.xml.gz |
| 48 | |
| 49 | ################################################## ##### |
| 50 | # |
| 51 | # Arquivo robots.txt gerado pelo iRobots.txt SEO v1.0 |
| 52 | # Por Mark Beljaars |
| 53 | # |
| 54 | # _ _ _ _ | | _ _ |. _ _ _ _ _ _ _ _ |
| 55 | # | | |(_|| | <|_)(/_||(_|(_|| _ \ .(_(_)| | | |
| 56 | # _ | |
| 57 | # Http://markbeljaars.com/plugins/irobotstxt-seo |
| 58 | # |
| 59 | ################################################## ##### |
| 60 | # |
| 61 | # Nota: |
| 62 | # A directiva Permitir e wildcards (*) são em nomes de arquivos |
| 63 | # Não sintaxe do robots.txt padrão, porém eles são |
| 64 | # Suportado pela maioria dos novos motores de pesquisa. |
Instalação
- Faça o download do plugin do http://markbeljaars.com/download/current/plugins/irobotstxt-seo.zip .
- Extrair e fazer o upload do plugin para o seu
/wp-content/plugins/diretório e ativá-lo - Editar as configurações de plugin usando a página de administração localizado sob
Settings.
Imagens
Página de configuração
Configuração
Opções Gerais- Use definição padrão estrito robots.txt: O funcionário definição robots.txt identifica especificamente quais diretórios ou arquivos de um motor de busca não podem indexar e não inclui qualquer directivas para detalhar quais arquivos um motor de busca de índice pode. Google se expandiu para incluir a definição de uma
allowdirectiva e também permite wildcards em nomes de arquivos. Apesar de não ser oficialmente suportado, a norma alterada é entendida pela maioria dos motores de busca. - Adicionar automaticamente o website sitemap ao arquivo robots.txt: Sitemaps informar os motores de busca da estrutura do seu site e também permite que você para estimar quantas vezes suas páginas vai mudar. Obviamente motores de busca encontrar esse tipo de informação benéfica. O protocolo de sitemap é definido aqui . Sitemaps podem ser automaticamente produzido por WordPress plugins, tais como Google XML Sitemaps Generator .
- Inibir a indexação de pastas do sistema WordPress: pastas do sistema WordPress, como o plugin e diretórios de conteúdo não são otimizados palavra-chave e, portanto, não devem ser indexadas por um motor de busca. Além disso, as pastas do sistema de indexação pode representar um risco de segurança.
- Não permita que o conteúdo duplicado: WordPress tem muitas maneiras de exibir o mesmo cargo, inclusive por tag, por categoria ou por autor. Isto parece o Google como várias páginas com o mesmo conteúdo. É debatido que o Google não gosta de sites com lotes de conteúdo duplicado, mas por outro lado também é debatido que o Google gosta de sites com muitas páginas. Utilize esta opção para inibir ou permitir algum conteúdo duplicado.
- Permitir que o Google Adsense para acessar site inteiro: Google Adsense determina automaticamente quais anúncios são relevantes para o seu público por meio da indexação do conteúdo do seu site. Dando pleno acesso Adsense em seu site pode resultar em anúncios mais direcionados. Ignore esta opção se você não implementou Adsense.
- Inibir a indexação pelo Internet Archive: O Internet Archive é uma organização sem fins lucrativos com objetivos de arquivar todas as informações na Internet em intervalos regulares. Especula-se que o Google usa o Internet Archive para determinar a idade de um site para ajudar na definição de um site \ 's autoridade. Alguns especialistas recomendam que o SEO Internet Archive ser desativado a partir de indexação website jovens. O Internet Archive também levanta questões de controle de documentos (versões antigas de seus posts podem ser arquivadas), direitos de propriedade intelectual e privacidade.
- Inibir a indexação de imagem: Você pode querer inibir os motores de busca de indexar suas imagens se as imagens são de direitos autorais, foram obtidos duvidosa (que infringe direitos autorais), não são relacionadas ao seu site ou não são susceptíveis de gerar tráfego. Marketing afiliado também pode achar que as imagens podem gerar tráfego untargeted afetando um site \ 's taxa de conversão.
- Inibir a indexação pelo espelho Dugg: Duggmirror fornece um espelho para as histórias mais populares no Digg.com. Sites são muitas vezes sobrecarregado pela quantidade de tráfego de Digg envia o seu caminho, fazendo com que a página fique indisponível. Para aliviar o chamado "efeito digg" Duggmirror hosts um espelho das histórias mais populares tornando-os disponíveis para os usuários Digg. O problema é que o Google pode indexar a página DuggMirror antes da fonte e direcionar o tráfego inturn do seu site para o espelho.
Configuração Avançada
Registros personalizados podem ser adicionados ou excluídos do arquivo robots.txt usando este formulário. Uma lista completa de agentes de usuário podem ser encontradas em http://www.user-agents.org/ . Exemplos de cadeias de directiva robot.txt (o texto que vai após a permitir ou não permitir directivas) podem ser encontradas em http://www.robotstxt.org/robotstxt.html . Google \ 's não oficiais extensões são descritas em detalhes neste post do blog . Observe que todos os registros permitem directiva e cordas directiva incluindo globbing curinga será ignorado se a opção Usar definição padrão estrito robots.txt é selecionado.
Ver Robots.txt
Visualizar ou editar o arquivo robots.txt virtual completo.
- Permitir a edição de forma livre: Permite a edição manual do arquivo robots.txt. É necessário ter cuidado como um arquivo robots.txt mal formado pode seriamente efeito motor de pesquisa rankings. Note-se que uma vez livre de edição de formulário é ativado, a modificação das definições de configuração geral e avançada é inibida. Além disso, quando de forma livre for desativado, quaisquer alterações manuais para o arquivo robots.txt será perdido.
FAQs
Faz iRobots.txt SEO criar ou modificar os arquivos?
Não. O arquivo robots.txt servidas por IRSEO é virtual apenas. Seu site permanecerá inalterado uma vez que o plugin é removido.
Onde posso aprender mais sobre robots.txt?
O site de informações oficiais robots.txt é http://www.robotstxt.org/ . As extensões do Google robots.txt são documentados aqui .
Posso livre editar o arquivo robots.txt?
Sim. Na "View Robots.txt" painel de configuração admin, selecione a opção "Ativar edição de forma livre" opção. Agora você vai ser capaz de modificar diretamente o arquivo robots.txt dentro deste painel.
Histórico da Revisão
1.1.2- Adicionar Belorussian tradução de Marcis G . Obrigado Marcis.
- Bug de arquivo fixo perto em função irseo_file_exists que causou um erro em alguns blogs.
- Adicionado opção de permitir ou filtro de conteúdo duplicado.
- Agora é possível para libertar editar o arquivo robots.txt de dentro do painel de administração do plugin.
- O arquivo robots.txt é agora servido se o URL ou não conter o prefixo "www". Comparação URL agora também é case insensitive.
- Acrescentado "sitemap.xml.gz 'para permitir que todos os robôs seção.
- XML aviso de plugin Mapa do site agora está oculto se o arquivo robots.txt virtual é servido corretamente.
- O código php agora foi totalmente comentado.
- Adicionado nonce e admin de seleção para todas as configurações do painel de administração de mudanças (para fins de segurança).
- Mudou-se todas as opções em uma única matriz associativa, resultando em menores e mais fáceis de seguir código com menos chamadas para a mesa opção.
- Corrigido o erro que parou a página de administração de carga em alguns sistemas.
- Adicionado link "Configurações" ao menu de plugin usando código fornecido pelo Jay .
- Removidas PHP5 stream_get_contents função e substituído por trás fgets compatíveis como sugerido por Jay .
- Agora detecta a presença de XML Sitemap Generator e se existe pós um aviso explicando que este plugin também gera um arquivo robots.txt virtual. XML Sitempas tem uma opção para desabilitar a geração do arquivo robots.txt. Mais uma vez, graças Jay para este feedback.
- Fixa define nomes, função e strings i10n em conflito com o plugin TOCC.
- Modificado em cabeçalhos de seção de administração configuração para expandir seção se clicado em qualquer lugar dentro do cabeçalho.
- Lançamento público inicial.
Agradecimentos
Gostaria de agradecer a ajuda preciosa prestada pelas seguintes pessoas:
- Marcis G. para fornecer o arquivo de tradução Belorussian.
Comentários
Por favor, deixe-me saber o que você pensa. Deixe um comentário se você tiver um recurso solicitado, encontrou um bug ou precisar de alguma ajuda. Todos são bem-vindos.
31 Responses to "iRobots.txt SEO"
Trackbacks / Pingbacks.
- - 06. Dezembro de 2010
[...] É em cima de nós hoje. O que vou fazer a cobertura de hoje é a letra I para CF shortcode ligação interna e iRobots.txt plug-ins. Esses plug-in são bastante simples que é por isso que há dois aqui [...]
- - 23. Abril de 2010
[...] IRobots.txt SEO: é um totalmente personalizável robots.txt gerador de arquivo virtual. IRSEO cria um arquivo robots.txt altamente otimizada e segura em linha reta fora da caixa. Os usuários podem optar por ativar ou desativar agentes de usuário específico, os diretórios ou arquivos usando opções intuitivas todos com instruções detalhadas. [...]
- - 05. Fevereiro de 2010
[...] IRobots.txt SEO [...]
- - 29. Jan, 2010
Comentários e análises sociais para esse post ...
Este post foi mencionado no Twitter por buildweb: iRobots.txt SEO - MarkBeljaars.com: 09 de dezembro de 2009 ... iRobots.txt SEO é um totalmente personalizável robots.txt vir .. http://bit.ly/8NVwso # seo ...
- - 23. Dezembro de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Dezembro de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Dezembro de 2009
[...] Recomiento probarlo. Descargar iRobots.txt SEO. Compatir con tus [...]
- - 13. Dezembro de 2009
[...] Utilizando as opções intuitivas, que incluem instruções detalhadas. Download e mais informações em: iRobots.txt SEO - MarkBeljaars.com Correio __________________ [...]
- - 12. Dezembro de 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 12. Dezembro de 2009
[...] Wenn Du bist hier neu, möchtest Du vielleicht unseren Feed RSS abonnieren.Powered by WP Greet BoxiRobots.txt SEO von Mark ist ein Beljaars virtuais robots.txt Datei Criador. Zu den Características Plugins WordPress des [...]
- - 11. Dezembro de 2009
[...] SEO 11. Dezember 2009 | Autor: KHK iRobots.txt SEO vo Mark ist ein Beljaars virtial robots.txt Datei Criador. Zu den unter gehören Características [...]
- - 09. Dezembro de 2009
[...] Mais: iRobots.txt SEO - MarkBeljaars.com Comments0 Leave a Reply Clique aqui para cancelar a [...]
- - 09. Dezembro de 2009
[...] Todos os detalhes sobre o plugin pode ser encontrado em http://markbeljaars.com/plugins/irobotstxt-seo/ . [...]
Oi eu sou um pouco confuso sobre como iRobots.txt SEO funciona quando o Google XML Sitemaps do plugin é instalado.
Caso o plugin iRobots ser instalado após o plugin Google Sitemaps XML para ativar o plugin Sitemaps para ser detectado?
Existe um potencial de conflito que requer as configurações em um dos dois plugins para ser mudado? Se as configurações em que plugin?
Ficaria muito grato por qualquer esclarecimento.
Obrigado
Oi Nick,
A única coisa que Google XML Sitemaps faz é adicionar uma única linha ao final do arquivo robots.txt apontando para o mapa do site XML. Se você desativar XML sitemaps de tocar o arquivo robots.txt (desmarcando "URL sitemap Adicionar para o arquivo robots.txt virtual." Dentro das configurações XML-Sitemaps), então iRobots automaticamente adicionar esta entrada para você, se ele detectar que o Google XML Sitemaps Plugin está instalado.
Espero que isso ajude,
Mark.
Oi, eu tenho o plugin instalado e mysite.com / robots.txt mostra-se bem, mas quando eu clico nas configurações de plugin, eu recebo uma página de erro WordPress que simplesmente diz: "Você não tem permissões suficientes para acessar esta página. "
Alguma idéia?
Oi JoJo. I utiliza nonces como uma medida de segurança adicional para parar os ataques XSS de modificar o arquivo robots.txt. Como uma solução rápida, você pode ser capaz de editar o arquivo PHP plugin e delete o seguinte texto (que aparece várias vezes durante todo o código) ...
& & Check_admin_referer ('irseo-change-opções-nonce ")
Isso irá desativar nonces. Acho isso muito estranho embora como nonces tendem a funcionar bem no WordPress. Por favor, deixe-me saber se este "corrige" o seu problema.
Obrigado,
Mark.
Oi eu tenho instalado o plug in e ativá-lo, mas os motores de busca não estão rastejando no meu site qualquer página que está o problema. Eu uso o Google web ferramenta de mestre eu adiciono o meu sitemap mas a msg parece que estamos restringidos pelo robot.txt. plz me ajudar. O meu link para os robôs e é sitemap
http://reviewaccounting.com/robots.txt
http://reviewaccounting.com/sitemap.xml.gz
plz me diga o que fazer
Eu estou esperando pela sua resposta
Desculpem a resposta tardia. Akismet tinha marcado a sua mensagem como spam, devido à vários links e eu só verificar os e-mails de spam, uma vez por semana ou assim antes de eu excluí-los.
Eu verifiquei seu arquivo robots.txt e parece OK. Em ferramentas webmaster, sob a configuração de acesso ao site / rastreador, selecione teste para testar seu site para o user agent Googlebot. Eu testei o seu arquivo robots.txt exata e diz googlebot é permitido para rastrear o site.
Se você suspeitar que o plugin está causando problemas, de-ativar o plugin e ver se o problema ainda permanece. É perfeitamente OK para não ter um arquivo robots.txt, porém o Google irá indexar todas as páginas de administração etc
Acesso restrito também pode ser causado pelo seu arquivo htaccess..
Mark.
Oi marca,
Tenho instalado o plug in, mas não pode vê-lo em qualquer lugar a fonte.
Se eu não vejo isso significa que ela não está funcionando?
Oi Natalie,
Pode explicar isso um pouco mais? Você tem opções iRobots.txt no painel de configurações do admin? Você pode verificar se o plugin está funcionando, digitando o seguinte em um navegador:
http://yoururl/robots.txt
Por exemplo, o arquivo robots.txt do meu site está localizado em: http://markbeljaars.com/robots.txt .
Se o arquivo robots.txt não existe, pode haver três razões possíveis:
1. O plugin não conseguiu instalar por algum motivo. Remover a instalação anterior, então tente fazer o download do meu site. Em seguida, selecione plugins / add novo a partir do painel de administração e clique no link upload. Carregar o arquivo zip e ativar.
2. Seu tema é primordial pedidos de arquivos virtual.
3. Seu. Htaccess está bloqueando o arquivo robots.txt.
Mark.
Mark,
Acabei de instalar o seu plugin e eu recebo o seguinte erro.
Warning: fclose (): fornecido argumento não é um recurso válido no fluxo / Library / WebServer / Documents / xxxxxxx / wp-content / plugins / irobotstxt-seo / irobotstxt-seo.php na linha 322
Execução WP 2.9.1. Alguma idéia?
Andy
Oi Andy,
Eu não vi esse erro antes. Qual versão do PHP você está correndo? Se você é feliz a edição de arquivos PHP, você pode simplesmente apagar essa linha eo plugin deve começar a trabalhar (em PHP, os arquivos são fechados automaticamente se o programador esquecer de fechá-los). Em todo caso, vou corrigir o código de hoje à noite (horário australiano) e fazer upload de uma nova revisão.
Mark.
Oi Andy,
Eu só lançou uma atualização que corrige esse bug e adiciona uma nova opção de não permitir conteúdo duplicado. Esperemos que ele funciona OK para você agora.
Mark.
Oi, eu tenho uma pergunta, quando eu uso o plugin e criar o arquivo robots.txt, faz o seu plugin faça o upload para o diretório sites, ou eu tenho que copiar o arquivo e enviá-lo através http://FTP. .
Obrigado, o plugin robots.txt melhor até agora.
Oi Jadah,
O arquivo robots.txt é realmente um arquivo virtual. O plugin detecta quando alguém (ou somebot) está tentando mostrar a http://www.website/robots.txt arquivo e intercepta este pedido. O plug-in, em seguida, em vez gera um fluxo de texto que faz com que pareça que o arquivo está sendo enviado. Desta forma, há notihing que você precisa para upload. Além disso, quaisquer alterações ao arquivo robots.txt são imediatamente refletidas. Há um pequeno problema com este método embora. Se um arquivo robots.txt físico existe (ou seja, aquele que você tem FTP carregado), então este será sempre exibida no lugar do arquivo virtual. Isto significa que você terá de apagar (ou renomear) os arquivos robots.txt física para usar este plugin.
Espero que isso ajude,
Mark.
Eu tenho uma pergunta. Eu observei na minha conta do Google Webmaster Tools que o Google não pode acessar o "sitemap.xml.gz" arquivo como ela é restrita pelo arquivo robots.txt genrated pelo seu plugin. (Meu sitemaps são gerados pelo "Google XML Sitemaps" plugin e "Adicionar sitemap para virtual robots.txt" está desmarcada como você instrui).
Verificar o texto do arquivo robots.txt gerado uma lista da localização do mapa do site como "just-thinkin.net/sitemap.xml.gz" (Eu tenho tanto "sitemap.xml" e "sitemap.xml.gz" na minha diretório raiz), mas ele bloqueia o acesso a este sitemap muito pela entrada "Disallow: / *. gz $".
Embora o Google pode acessar o meu arquivo "sitemap.xml" bem, eu ainda estou confuso sobre o porquê da localização sitemap listado no robots.txt gerado é propositadamente bloqueado para todos os robôs, ao mesmo tempo. É isso realmente como as coisas devem funcionar? Google sempre foi capaz de acessar os dois sitemaps ao usar o meu robots.txt manual de idade (o antigo tinha um problema com validade que eu nunca poderia seguir para baixo).
Obrigado por um plugin bem BTW.
Oi Kirk. Trabalho grande detetive! Você, é claro completamente correto. Não permitir a faz parar todos os arquivos. Gz de ser rastreado. A razão. Gz arquivos são normalmente permitido é garantir que os arquivos de backup (gz é uma extensão usada para arquivos compactados) não são indexados. Eu vou corrigir esse conflito no próximo lançamento. Isto deve ser devido em menos de uma semana e vai permitir a edição de forma livre do arquivo robots.txt resultante.
Nesse ínterim, você pode corrigir isso abrindo o iRobots SEO página de configurações e selecionar "Configuração Avançada". Na caixa de texto User Agent, digite "*". Selecione "permitir que:" no pull down e digite "sitemap.xml.gz /" na caixa de texto ao lado do pulldown. Finalmente pressione o botão "Add Custom Record".
Quando você visualizar o arquivo robots.txt resultante, você deve ver um par de linhas como esta:
# Custom RecordsUser-agent: *
Allow: /sitemap.xml.gz
Espero que isso ajude.
Bom negócio, e obrigado por trabalhar em um novo lançamento. Eu adicionei o registro personalizado. Funciona bem.
i apoiá-lo, melhor se pode permitir a edição livre ..
Sevi boa idéia. Irá adicionar edição gratuita para o próximo lançamento.
Mark.