iRobots.txt SEO
Ladda ner senaste versionen: 1.1.2 (uppdaterat den 13 juni 2010)
Funktioner | Skärmdump | Ladda ner | Konfiguration | FAQ | Kommentarer | Demo
Version 1,1 släppt nu! Denna version har flera förbättringar under de senaste release. Mest anmärkningsvärt är förmågan att direkt redigera robots.txt-filen. För en komplett lista över andra förbättringar, se ändringsloggen nedan.
Snälla hjälp! Hjälp i tolkningen eller bara föreslå nya funktioner skulle bli mycket uppskattat. Allt stöd kommer att erkännas på Inställningar sidan med en länk till din webbplats. Vänligen registrera ditt intresse via Kontakta mig sidan eller som en kommentar nedan. Tack.
Om du hittar plugin nytta, rösta för det här .
Egenskaper
iRobots.txt SEO (IRSEO) är en helt anpassningsbar robots.txt virtuellt filsystem generator. IRSEO skapar en mycket optimerad och säker robots.txt-fil direkt ur lådan. Användare kan välja att aktivera eller inaktivera vissa användarprogram, kataloger eller filer med hjälp av intuitiva möjligheter som alla innehåller detaljerade instruktioner.
Robots.txt-filen är en textfil som ligger i rotkatalogen på en webbplats. Dess syfte är att styra user-agents (AKA bots) från eller mot specifika filer eller kataloger. Hämmande en bot från att indexera vissa sidor kommer att se din hemsida fortsätter sökord optimeras och alla indexerade sidor är relevanta för dina potentiella kunder.
IRSEO hämmar också flera WordPress systemet kataloger och filer som standard. Att göra detta säkerställer att sökrobotar inte omfattar säkerhet känsliga sidor i sökresultaten. Om du t.ex. söker efter inurl: wp-content namn storlek Beskrivning kommer Google fram en lista över webbplatser med indexerade och öppen innehåll kataloger.
Observera att IRSEO skapar en virtuell robots.txt-fil. Detta robots.txt-fil visas när tillgång till robots.txt-filen begärs.
Ladda ner
Latest version: 1.1.2
Kräver minst WordPress 2,7
Testad upp till 2.9.2
Insticksprogrammet kan alternativt laddas ner från WordPress plugin slutförvaret .
Du är fri att använda insticksprogrammet på villkor som specificerats av GPL .
Exempel robots.txt-fil
| 1 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 2 | # IRobots.txt SEO |
| 3 | |
| 4 | # Google Image |
| 5 | User-agent: Googlebot-Image |
| 6 | Tillåt: / |
| 7 | Disallow: |
| 8 | |
| 9 | # Google Adsense |
| 10 | User-agent: Mediapartners-Google * |
| 11 | Tillåt: / |
| 12 | Disallow: |
| 13 | |
| 14 | # Internet Archiver Wayback Maskin |
| 15 | User-agent: ia_archiver * |
| 16 | Tillåt: / |
| 17 | Disallow: |
| 18 | |
| 19 | # Digga Spegel |
| 20 | User-agent: duggmirror |
| 21 | Disallow: / |
| 22 | |
| 23 | # Alla Bots |
| 24 | User-agent: * |
| 25 | Disallow: / cgi-bin |
| 26 | Disallow: / wp-admin / |
| 27 | Disallow: / wp-includes / |
| 28 | Disallow: / wp-innehåll / |
| 29 | Disallow: / search / * / foder |
| 30 | Disallow: / search / * / * |
| 31 | Disallow: / * *? |
| 32 | Disallow: / *? |
| 33 | Disallow: / README.html |
| 34 | Disallow: / license.txt |
| 35 | Disallow: / * php $. |
| 36 | Disallow: / * js $. |
| 37 | Disallow:. / * Inkl $ |
| 38 | Disallow: / * css $. |
| 39 | Disallow:. / * Gz $ |
| 40 | Disallow:. / * Wmv $ |
| 41 | Disallow: / * cgi $. |
| 42 | Disallow: / * xhtml $. |
| 43 | Allow: / wp-content/uploads / |
| 44 | Tillåt: / * page = * |
| 45 | |
| 46 | # Sitemap |
| 47 | Sitemap: http://markbeljaars.com/sitemap.xml.gz~~HEAD=NNS |
| 48 | |
| 49 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 50 | # |
| 51 | # Robots.txt fil alstras av iRobots.txt SEO 1.0 |
| 52 | # Av Mark Beljaars |
| 53 | # |
| 54 | # ____ | | __ |. ________ |
| 55 | # | | | (_ | | | <| _) (/ _ | | (_ | (_ | | _ \ (_ (_). | | | |
| 56 | # _ | |
| 57 | # Http://markbeljaars.com/plugins/irobotstxt-seo |
| 58 | # |
| 59 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 60 | # |
| 61 | # Observera: |
| 62 | # Tillåt direktivet och jokertecken (*) i filnamnen är |
| 63 | # Inte är standard robots.txt syntax, men de är |
| 64 | # Stöds av de flesta nya sökmotorer. |
Installation
- Hämta plugin från http://markbeljaars.com/download/current/plugins/irobotstxt-seo.zip .
- Extrahera och ladda upp plugin för att dina
/wp-content/plugins/katalogen och aktivera den - Redigera plugin inställningarna med hjälp av Admin finns under
Settings.
Skärmbilder
Konfigurationssida
Konfiguration
Allmänna alternativ- Använd strikt definition robots.txt standard: Den officiella robots.txt Definitionen specifikt identifierar vilka kataloger eller filer en sökmotor inte kan indexera och inte innehåller några direktiv för detalj vilka filer som en sökmotor kan indexera. Google har expanderat definitionen till att omfatta ett
allowdirektiv och tillåter också jokertecken i filnamn. Även om det inte officiellt stöd är ammended standard förstås av de flesta sökmotorer. - Automatiskt till webbplatsen webbplatskarta i filen robots.txt: Sitemaps informera sökmotorer på din webbplats struktur och även låta dig att uppskatta hur ofta dina sidor kommer att förändras. Uppenbarligen sökmotorer hitta denna typ av information fördelaktigt. Den sitemap protokollet definieras här . Webbplatskartor kan automatiskt produceras av WordPress plugins som Google XML Sitemaps Generator .
- Förhindra indexering av WordPress systemmappar: WordPress systemkatalogerna som plugin och kataloger innehåll är inte sökord optimeras och bör därför inte indexeras av en sökmotor. Vidare kan indexering systemmappar utgöra en säkerhetsrisk.
- Låt inte samma innehåll: WordPress har många sätt att visa samma inlägg, bland annat genom tagg, efter kategori eller efter författare. Detta verkar Google som flera sidor med samma innehåll. Det diskuteras att Google inte gillar platser med massor av dubbletter, men å andra sidan är det debatteras om att Google gillar sajter med många sidor. Använd det här alternativet för att hämma eller tillåta viss samma innehåll.
- Låt Google Adsense för att komma hela webbplatsen: Google Adsense automatiskt bestämmer vilka annonser som är relevanta för din publik genom att krypa innehållet på din webbplats. Att ge Adsense full tillgång till din webbplats kan resultera i mer riktade annonser. Ignorera det här alternativet om du inte har genomfört Adsense.
- Hämmar indexering av Internet Archive: Den Internet Archive är ett icke-vinstdrivande organisation med syfte att arkivera all information på Internet med jämna mellanrum. Det spekuleras att Google använder Internet Archive för att bestämma åldern på en webbplats för att hjälpa till att definiera en webbplats \ 's auktoritet. Vissa SEO experter rekommenderar att Internet Archive inaktiveras från att indexera unga hemsida. Internet Archive väcker också frågor om dokumentkontroll (gamla versioner av dina inlägg kan arkiveras), immateriella rättigheter och integritet.
- Förhindra bild indexering: Du kanske vill att hämma sökmotorer från att indexera dina bilder om dina bilder är copyright har tvivlande erhållits (de brott mot upphovsrätten), är inte relaterade till din webbplats eller sannolikt inte kommer att generera trafik. Affiliate marknadsförare kan också hända att bilderna kan ge upphov till oriktade trafik vilket påverkar en webbplats \ 's omräkningstal.
- Hämmar indexering av Dugg Mirror: Duggmirror ger en spegel för de mest populära historierna på Digg.com. Webbplatser är ofta överbelastade av mängden trafik Digg skickar sin väg, vilket gör att webbsidan blir otillgänglig. För att lindra den så kallade "Digg-effekten" Duggmirror värd en spegel av de mest populära historierna göra dem tillgängliga för Digg användare. Problemet är att Google kan indexera DuggMirror sidan innan källan och inturn kör trafik från din webbplats till spegeln.
Avancerad konfiguration
Anpassade register kan läggas till eller tas bort från robots.txt filen med detta formulär. En fullständig lista över användarprogram finns på http://www.user-agents.org/~~V . Exempel på robot.txt direktivet strängar (den text som går efter tillåta eller inte tillåta direktiv) finns på http://www.robotstxt.org/robotstxt.html . Google \ 's icke-officiella förlängningar beskrivs i detalj i detta blogginlägg . Observera att alla tillåter direktivet register och strängar direktiv, inbegripet jokertecken globbing kommer att ignoreras om Använd strikt robots.txt standard definition är vald.
Visa Robots.txt
Visa eller redigera hela virtuella robots.txt-fil.
- Aktivera fri form redigering: Möjliggör manuell redigering av robots.txt-filen. Försiktighet krävs som en dåligt utformad robots.txt-fil kan allvarligt påverka sökmotor ranking. Observera att när fri form redigering är aktiverad modifiering av de allmänna och avancerade inställningar hämmas. Vidare, när fri form inaktiveras kommer ingen manuella ändringar i robots.txt-filen gå förlorad.
Frågor
Skapar iRobots.txt SEO eller ändra några filer?
Nej robots.txt-fil ServerD med IRSEO är virtuell bara. Din webbplats kommer att förbli oförändrad när plugin tas bort.
Var kan jag läsa mer om robots.txt?
Den officiella robots.txt informationen webbplats http://www.robotstxt.org/~~V . Googles robots.txt förlängningar dokumenteras här .
Kan jag frigöra redigera robots.txt-fil?
Ja. I "Visa robots.txt" admin inställningen väljer du "Aktivera fri form redigering" alternativet. Du kommer nu att kunna direkt ändra robots.txt-filen inifrån det här fönstret.
Revisionshistorik
1.1.2- Lägg Vitryska översättning av Marcis G . Tack Marcis.
- Fast filstängning bugg i irseo_file_exists funktion som har orsakat ett fel på vissa bloggar.
- Lade möjlighet att tillåta eller filtrera samma innehåll.
- Det är nu möjligt att fritt redigera filen robots.txt inifrån plugin admin panelen.
- Robots.txt-filen serveras nu om webbadressen eller inte innehåller "www" prefix. URL jämförelse är nu också fallet okänslig.
- Lade "sitemap.xml.gz" till robotar tillåta alla avsnitt.
- XML Sitemap plugin Varningen är nu dold om den virtuella robots.txt-filen serveras på rätt sätt.
- PHP-koden har nu helt kommenterade.
- Lade nonce och admin kontrollera alla administrativa panelinställningar förändringar (av säkerhetsskäl).
- Flyttade alla alternativ i en enda associativ array vilket resulterar i mindre och lättare att följa kod med färre samtal till alternativet bordet.
- Fast bugg som stoppade admin sidan belastningen på vissa system.
- Lade "Inställningar" för att plugin-menyn med hjälp av kod från Jay .
- Borttagen PHP5 funktion stream_get_contents och ersättas med bakåtkompatibla fgets vilket föreslagits av Jay .
- Nu upptäcker presense av XML Sitemap Generator och om det finns skicka en varning som förklarar att denna plugin även genererar en virtuell robots.txt-fil. XML Sitempas har en option för att inaktivera robots.txt-fil generation. Återigen, tack Jay för feedback.
- Fast definierar funktionsnamn och strängar i10n konflikt med TOCC plugin.
- Ändrad admin rubriker inställning avsnitt du vill expandera avsnitt om klickade någonstans i sidhuvudet.
- Initial offentliggörande.
Tack
Jag vill erkänna värdefull hjälp som erbjuds av följande personer:
- Marcis G. för att tillhandahålla den Vitryska översättningsfilen.
Kommentarer
Låt mig veta vad du tycker. Lämna en kommentar om du har en efterfrågad funktion, hittat en bugg eller behöver lite hjälp. Alla är välkomna.
31 Responses to "iRobots.txt SEO"
Returlänkar / Pingbacker.
- - 06. Dec 2010
[...] Är över oss idag. Vad jag kommer att täcka i dag är bokstaven I för CF intern länk kortkod & iRobots.txt plug-ins. Dessa plug-in är ganska rakt framåt och det är därför det finns två här [...]
- - 23. April, 2010
[...] IRobots.txt SEO: är en helt anpassningsbar robots.txt virtuellt filsystem generator. IRSEO skapar en mycket optimerad och säker robots.txt-fil direkt ur lådan. Användare kan välja att aktivera eller inaktivera vissa användarprogram, kataloger eller filer med hjälp av intuitiva möjligheter som alla innehåller detaljerade instruktioner. [...]
- - 05. Februari, 2010
[...] IRobots.txt SEO [...]
- - 29. Jan, 2010
Sociala kommentarer och analyser till detta inlägg ...
Det här inlägget nämndes på Twitter genom att buildweb: iRobots.txt SEO - MarkBeljaars.com: Dec 9, 2009 ... iRobots.txt SEO är en helt anpassningsbar robots.txt vir .. http://bit.ly/8NVwso # seo ...
- - 23. December, 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. December, 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. December, 2009
[...] Recomiento probarlo. Descargar iRobots.txt SEO. Compatir con tus [...]
- - 13. December, 2009
[...] Med intuitiva alternativ, som alla innehåller detaljerade instruktioner. Ladda ner och mer info på: iRobots.txt SEO - MarkBeljaars.com __________________ mail [...]
- - 12. December, 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 12. December, 2009
[...] Wenn Du neu hier BIST, möchtest Du vielleicht unseren RSS Feed abonnieren.Powered av WP Greet BoxiRobots.txt SEO von Mark Beljaars ist ein virtuella robots.txt Datei Creator. Zu den Funktioner des WordPress Plugins [...]
- - 11. December, 2009
[...] SEO 11. Dezember 2009 | Autor: KHK iRobots.txt SEO VO Mark Beljaars ist ein virtial robots.txt Datei Creator. Zu den Funktioner gehören unter [...]
- - 09. December, 2009
[...] Mer: iRobots.txt SEO - MarkBeljaars.com Comments0 Lämna ett svar Klicka här för att avbryta [...]
- - 09. December, 2009
[...] Fullständiga uppgifter om plugin finns på http://markbeljaars.com/plugins/irobotstxt-seo/ . [...]
Hej jag är förvirrad lite om hur iRobots.txt SEO fungerar när Google XML Sitemaps plugin är installerad.
Om iRobots plugin installeras efter Google XML Sitemaps plugin för att göra det möjligt för webbplatskartor plugin för att kunna upptäckas?
Finns det en risk för konflikt som kräver inställningar i en av de två plugins ändras? Om vilka inställningar som plugin?
Jag skulle vara tacksam för att få närmare.
Tack
Hej Nick,
Det enda Google XML Sitemaps gör är att lägga till en enda rad i slutet av filen robots.txt pekar på XML sitemap. Om du inaktiverar XML Sitemaps från att röra robots.txt filen (genom att avmarkera "Lägg sitemap URL till den virtuella robots.txt-filen." Inom XML-webbplatskartor inställningar), så iRobots automatiskt lägga den här posten för dig om den upptäcker att Google XML Sitemaps insticksmodulen är installerad.
Hoppas att detta hjälper,
Markera.
Hej, Jag har plugin installerat och mysite.com / robots.txt dyker upp bra, men när jag klickar på plugin inställningarna får jag en WordPress felsida som helt enkelt säger: "Du har inte tillräcklig behörighet att komma åt denna sida. "
Några idéer?
Hej JoJo. Jag använder nonces som en extra säkerhetsåtgärd för att stoppa XSS attacker från att ändra robots.txt-filen. Som en snabb fix, kanske du kan redigera filen plugin PHP och ta bort följande text (det förekommer flera gånger under koden) ...
&& Check_admin_referer (irseo-change-options-nonce)
Detta kommer att inaktivera nonces. Jag tycker detta verkligen konstigt men eftersom nonces tenderar att fungera bra i WordPress. Hör av dig om detta "fixar" ditt problem.
Tack,
Markera.
Hej Jag har installerat din koppla in och aktivera den, men sökmotorer är inte kryper på min webbplats vilken sida som helst vad som är problemet. Jag använder Google webmaster verktyg jag lägga upp min webbplatskarta, men msg verkar som om vi är begränsade av robot.txt. plz hjälpa mig. Min länk för robotar och sidkarta är
http://reviewaccounting.com/robots.txt
http://reviewaccounting.com/sitemap.xml.gz
plz berätta för mig vad jag ska göra
Jag väntar på ditt svar
Ledsen för det sena svaret. Akismet hade märkt ditt inlägg som spam på grund av flera länkar och jag bara kolla skräppost gång i veckan eller så innan jag tar bort dem.
Jag kollade ut din robots.txt-fil och det ser OK. I verktyg för webbansvariga, Under Webbplatskonfiguration / sökrobot åtkomst genom att välja test för att testa din webbplats för Googlebot User Agent. Jag testade din exakta robots.txt-fil och det står Googlebot är tillåtet att genomsöka webbplatsen.
Om du misstänker plugin orsakar dig problem, de-aktivera plugin och se om problemet kvarstår. Det är helt OK att inte ha en robots.txt-fil, men Google indexerar alla dina admin sidor etc.
Begränsad tillgång kan också orsakas av din. Htaccess-filen.
Markera.
Hej varumärke,
Jag har installerat plugin i men kan inte se det någonstans i källan.
Om jag inte ser det betyder att det inte fungerar?
Hej Natalie,
Kan du förklara detta lite mer? Har du iRobots.txt alternativ i admin panelen Inställningar? Du kan kontrollera om plugin fungerar genom att skriva följande i en webbläsare:
http://yoururl/robots.txt
Till exempel är min webbplats robots.txt-fil finns på: http://markbeljaars.com/robots.txt .
Om robots.txt filen inte finns, kan det finnas tre möjliga orsaker:
1. Insticksmodulen inte att installera någon anledning. Ta bort den tidigare installationen sedan försöka ladda ner från min sida. Välj sedan plugins / lägga till en ny från admin panelen och klicka på Upload länken. Ladda upp zip-filen och aktivera.
2. Din tema tvingande virtuella filbegäranden.
3. Din. Htaccess-fil blockerar robots.txt-filen.
Markera.
Mark,
Jag installerade bara din plugin och jag får följande felmeddelande.
Varning: fclose (): levereras argument är inte ett giltigt ström resurs i / Bibliotek / WebServer / Documents / xxxxxxx / wp-content / plugins / irobotstxt-SEO / irobotstxt-seo.php on line 322
Rinnande WP 2.9.1. Några idéer?
Ochy
Hej Andy,
Jag har inte sett detta fel förut. Vilken version av PHP kör du? Om du är nöjd redigera PHP-filer kan du helt enkelt ta bort den här raden och plugin ska börja arbeta (i PHP, är filerna stängs automatiskt om programmeraren glömmer att stänga dem). I vilket fall som helst kommer jag fixa koden ikväll (Australian tid) och ladda upp en ny revision.
Markera.
Hej Andy,
Jag har precis släppt en uppdatering som åtgärdar detta fel och lägger till en ny möjligheten att kunna annullera samma innehåll. Förhoppningsvis fungerar OK för dig nu.
Markera.
Hej, jag har en fråga, när jag använder din plugin och skapa robots.txt-fil, inte ditt plugin ladda upp den till Websites Directory, eller måste jag kopiera filen och ladda upp den via http://FTP. .
Tack, den bästa robots.txt plugin hittills.
Hi Jadah,
Robots.txt-filen är faktiskt en virtuell fil. Insticksprogrammet känner av när någon (eller somebot) försöker visa http://www.website/robots.txt filen och avlyssnar denna begäran. Insticksprogrammet då istället ut en textflödet som gör att det ser ut som filen skickas. På detta sätt finns det notihing du behöver ladda upp. Dessutom är alla ändringar i robots.txt-filen immidiately reflekteras. Det finns en hake med denna metod ändå. Om en fysisk robots.txt-fil finns (dvs en som du har FTP upp), då detta kommer alltid att visas i stället för den virtuella filen. Det betyder att du måste ta bort (eller Ändra) alla fysiska robots.txt-filer för att använda denna plugin.
Hoppas att detta hjälper,
Markera.
Jag har en fråga. Jag märkte i min Googles verktyg för webbansvariga-konto som Google inte kan komma åt "sitemap.xml.gz" filen som den är begränsad av robots.txt-filen genrated av din plugin. (Mina webbplatskartor genereras av "Google XML Sitemaps" plugin och "Lägg till webbplatskarta till virtuella robots.txt" är markerad när du instruerar).
Kontroll av texten den genererade filen robots.txt den innehåller en förteckning platsen för webbplatskartan som "just-thinkin.net/sitemap.xml.gz" (jag har både "sitemap.xml" och "sitemap.xml.gz" i min rotkatalogen) men det blockerar tillgång till dessa just sitemap genom att skriva "Disallow:. / * gz $".
Även om Google kan komma åt min "sitemap.xml" filen okay Jag är fortfarande förvirrad om varför sitemap plats som anges i den genererade robots.txt är avsiktligt blockeras alla sökrobotar samtidigt. Är detta verkligen hur det är tänkt att fungera? Google var alltid kunna komma åt båda sitemaps när jag använder min gamla manuella robots.txt (den gamla hade problem med giltighet att jag aldrig skulle kunna spåra).
Tack för en fin plugin btw.
Hej Kirk. Great detektivarbete! Du är förstås helt korrekt. Den underkänna gör stoppa alla. Gz-filer från att genomsökas. Anledningen. Gz-filer är normalt inte tillåtet att se till att säkerhetskopiera filer (GZ är en förlängning som används för komprimerade filer) inte är indexerade. Jag kommer att fixa denna konflikt i nästa utgåva. Detta bör bero på en mindre än en vecka och kommer att möjliggöra fritt formulerad redigering av den resulterande robots.txt-filen.
Under tiden kan du åtgärda detta genom att öppna iRobots SEO sidan Inställningar och välja "Advanced Configuration". I User Agent textrutan, skriv "*". Välj "Tillåt" i rullgardinsmenyn och skriv "/ sitemap.xml.gz" i textrutan bredvid rullgardinsmenyn. Slutligen trycker du på "Lägg till anpassad Record"-knappen.
När du visar den resulterande robots.txt-fil, bör du se ett par rader så här:
# Custom RecordsUser-agent: *
Allow: /sitemap.xml.gz
Hoppas att detta hjälper.
Bra affär och tack för att arbeta på en ny release. Jag har lagt den anpassade posten. Fungerar bra.
Jag stöder er, bäst om den kan tillåta fri redigering ..
Bra Sevi. Kommer att lägga fritt redigering till nästa utgåva.
Markera.