iRobots.txt SEO
Last ned nyeste versjon: 1.1.2 (oppdatert 13. juni 2010)
Funksjoner | Skjermbilde | Nedlasting | Konfigurasjon | FAQ | Kommentarer | Demo
Versjon 1.1 nå lansert! Denne versjonen har flere forbedringer over den siste utgivelsen. De mest kjente er evnen til direkte redigere robots.txt-filen. For en komplett liste over andre forbedringer, se endringsloggen nedenfor.
Vennligst Hjelp! Bistand i tolkning eller bare foreslå nye funksjoner vil bli verdsatt. All bistand vil bli anerkjent på Innstillinger-siden med en kobling til webområdet ditt. Vennligst registrer din interesse via kontakt meg siden eller som en kommentar nedenfor. Takk.
Hvis du finner programtillegget nyttig, vennligst stemme for det her .
Funksjoner
iRobots.txt SEO (IRSEO) er en fullt tilpassbar robots.txt virtuell fil generator. IRSEO skaper en svært optimalisert og sikker robots.txt-fil rett ut av esken. Brukere kan velge å aktivere eller deaktivere bestemte nettlesarar, kataloger eller filer ved hjelp av intuitive valg alle som inkluderer detaljerte instruksjoner.
Robots.txt-filen er en tekstfil som ligger i rotkatalogen på en nettside. Det formål er å dirigere brukeragenter (AKA bots) vekk fra eller mot bestemte filer eller kataloger. Hemme en bot fra å indeksere bestemte sider vil sikre ditt nettsted forblir søkeordet optimalisert og alle indekserte sider er relevante for dine potensielle kunder.
IRSEO hemmer også flere WordPress systemet kataloger og filer som standard. Å gjøre dette sikrer at søkeroboter ikke inkluderer sikkerhetsoppdateringer sensitive sider innenfor søkeresultater. For eksempel søker etter inurl: wp-content navn størrelse beskrivelsen vil i Google produsere en liste over nettsteder med indekserte og åpent innhold kataloger.
Merk at IRSEO skaper en virtuell robots.txt-fil. Denne robots.txt-filen vises når tilgang til robots.txt-filen blir forespurt.
Last ned
Nyeste versjon: 1.1.2
Krever minst: WordPress 2.7
Testet opp til 2.9.2
Den plugin kan alternativt lastes ned fra WordPress plugin depotet .
Du står fritt til å bruke plugin under vilkår som er angitt av GPL .
Eksempel robots.txt fil
| 1 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 2 | # IRobots.txt SEO |
| 3 | |
| 4 | # Google Image |
| 5 | User-agent: Googlebot-Image |
| 6 | Tillat: / |
| 7 | Disallow: |
| 8 | |
| 9 | # Google Adsense |
| 10 | User-agent: Mediapartners-Google * |
| 11 | Tillat: / |
| 12 | Disallow: |
| 13 | |
| 14 | # Internet Archiver Wayback Machine |
| 15 | User-agent: ia_archiver * |
| 16 | Tillat: / |
| 17 | Disallow: |
| 18 | |
| 19 | # Digg Mirror |
| 20 | User-agent: duggmirror |
| 21 | Disallow: / |
| 22 | |
| 23 | # Alle Bots |
| 24 | User-agent: * |
| 25 | Disallow: / cgi-bin |
| 26 | Disallow: / wp-admin / |
| 27 | Disallow: / wp-includes / |
| 28 | Disallow: / wp-innhold / |
| 29 | Disallow: / search / * / feed |
| 30 | Disallow: / search / * / * |
| 31 | Disallow: / * *? |
| 32 | Disallow: / *? |
| 33 | Disallow: / readme.html |
| 34 | Disallow: / License.txt |
| 35 | Disallow: / * php $. |
| 36 | Disallow: / * js $. |
| 37 | Disallow: /. * Øk $ |
| 38 | Disallow: / * css $. |
| 39 | Disallow: /. * Gz $ |
| 40 | Disallow: /. * WMV $ |
| 41 | Disallow: / * cgi $. |
| 42 | Disallow: / * xhtml $. |
| 43 | Allow: / wp-content/uploads / |
| 44 | Tillat: / * side = * |
| 45 | |
| 46 | Nr Sitemap |
| 47 | Sitemap: http://markbeljaars.com/sitemap.xml.gz~~HEAD=NNS |
| 48 | |
| 49 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 50 | # |
| 51 | # Robots.txt fil generert av iRobots.txt SEO v1.0 |
| 52 | # Av Mark Beljaars |
| 53 | # |
| 54 | # ____ | | __ |. ________ |
| 55 | # | | | (_ | | | <| _) (/ _ | | (_ | (_ | | _ \ (_ (_). | | | |
| 56 | # _ | |
| 57 | # Http://markbeljaars.com/plugins/irobotstxt-seo |
| 58 | # |
| 59 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 60 | # |
| 61 | # Merk: |
| 62 | # Den Tillat direktivet og wildcards (*) i filnavn er |
| 63 | # Ikke standard robots.txt-syntaks, men de er |
| 64 | # Støttes av de fleste nye søkemotorer. |
Installasjon
- Last ned plugin fra http://markbeljaars.com/download/current/plugins/irobotstxt-seo.zip .
- Pakk og laste opp plugin til
/wp-content/plugins/katalogen og aktivere den - Rediger plugin innstillinger ved hjelp av admin siden ligger under
Settings.
Skjermbilder
Konfigurasjonsside
Konfigurasjon
Generelle alternativer- Bruk streng robots.txt standard definisjon: Den offisielle robots.txt definisjonen spesifikt identifiserer hvilke kataloger eller filer en søkemotor kan ikke indeksere og inkluderer ikke direktiver for detaljering hvilke filer en søkemotor kan indeksere. Google har utvidet definisjonen til å omfatte en
allowdirektivet og også tillater jokertegn i filnavn. Selv om det ikke offisielt støttet, er ammended standard forstått av de fleste søkemotorer. - Automatisk legge til webområdet sitemap til robots.txt-filen: Sitemaps informere søkemotorer om ditt nettsted struktur og også tillate deg å anslå hvor ofte sidene dine vil endre seg. Tydeligvis søkemotorer finne denne typen informasjon gunstig. Sitemap-protokollen er definert her . Sitemaps kan automatisk produsert av WordPress plugins som Google XML Sitemaps Generator .
- Hemme indeksering av WordPress systemmappene: WordPress systemmapper som plugin og innhold kataloger er ikke søkeord optimalisert og bør derfor ikke bli indeksert av en søkemotor. Videre kan indeksere systemmappene presentere en sikkerhetsrisiko.
- Ikke la likt innhold: WordPress har mange måter å vise det samme innlegget, herunder ved tag, etter kategori eller etter forfatter. Dette synes å Google som flere sider med samme innhold. Det er diskutert at Google ikke liker nettsteder med mye likt innhold, men på den annen side er det også debattert at Google liker nettsteder med mange sider. Bruk dette alternativet til å hemme eller tillate noe likt innhold.
- Tillat Google Adsense for å få tilgang til hele nettstedet: Google Adsense automatisk avgjør hvilke annonser som er relevante for publikum ved å gjennomgå innholdet på nettstedet ditt. Å gi Adsense full tilgang til nettstedet ditt, kan resultere i mer målrettede annonser. Ignorer dette alternativet hvis du ikke har implementert Adsense.
- Hemme indeksering av Internet Archive: The Internet Archive er en ikke-for-profit organisasjon med mål å arkivere all informasjon på internett med jevne mellomrom. Det er spekulert i at Google bruker Internet Archive for å bestemme alderen på en nettside for å bistå i å definere et nettsted \ 's autoritet. Noen SEO eksperter anbefaler at Internet Archive deaktiveres fra indeksere ung nettside. The Internet Archive reiser også spørsmål av dokument kontroll (gamle versjoner av innleggene dine kan arkiveres), immaterielle rettigheter og personvern.
- Hemme image indeksering: Du ønsker kanskje å hemme søkemotorer fra å indeksere bildene dine hvis bildene er copyright, har vært tvilende innhentet (de krenker opphavsretten), er ikke knyttet til nettstedet ditt eller ikke er sannsynlig å generere trafikk. Affiliate markedsførere kan også oppleve at bildene kan generere vilkårlige trafikk og dermed påvirke et nettsted \ 's bytteforhold.
- Hemme indeksering av Dugg Mirror: Duggmirror gir et speil for de mest populære historiene på Digg.com. Nettsteder er ofte overbelastet av mengden trafikk Digg sender sin vei, slik at websiden blir utilgjengelige. For å lindre den såkalte "digg effekten" Duggmirror vert et speil av de mest populære historiene som gjør dem tilgjengelige for Digg-brukere. Problemet er at Google kan indeksere DuggMirror siden før kilden og inturn drive trafikk fra nettstedet til speilet.
Avansert konfigurasjon
Egendefinerte poster kan legges til eller slettes fra robots.txt-filen ved hjelp av dette skjemaet. En komplett liste over nettlesarar kan bli funnet på http://www.user-agents.org/~~V . Eksempler på robot.txt direktivet strenger (tekst som går etter tillate eller nekte direktiver) finner du på http://www.robotstxt.org/robotstxt.html . Google \ 's ikke-offisielle utvidelser er beskrevet i detalj i denne bloggposten . Merk at alle lar direktivet poster og direktiv strenger inkludert wildcard globbing vil bli ignorert hvis bruke strenge robots.txt standard definisjon er valgt.
Vis Robots.txt
Vis eller rediger den komplette virtuelle robots.txt-fil.
- Aktiver fri form redigering: Aktiverer manuell redigering av robots.txt-filen. Forsiktighet er nødvendig som en dårlig dannet robots.txt-filen kan alvorlig påvirke søkemotorrangeringer. Merk at når fri form redigering er aktivert, er endring av de generelle og avanserte konfigurasjonsinnstillinger hemmet. Videre, når fri form er deaktivert, vil eventuelle manuelle endringer i robots.txt-filen tapt.
Vanlige spørsmål
Skaper iRobots.txt SEO eller modifisere noen filer?
Nei robots.txt-filen serverd av IRSEO er virtuell bare. Nettstedet vil forbli uendret når plugin er fjernet.
Hvor kan jeg lære mer om robots.txt?
Den offisielle robots.txt informasjonsside er http://www.robotstxt.org/~~V . Google robots.txt-utvidelser er dokumentert her .
Kan jeg frigjøre redigere robots.txt-filen?
Ja. I "View Robots.txt" admin innstilling panel, velg "Aktiver fri form redigering" alternativet. Du vil nå kunne direkte endre robots.txt-filen fra denne ruten.
Revisjonshistorie
1.1.2- Legg Hviterussisk oversettelse ved Marcis G . Takk Marcis.
- Fast fil tett bug i irseo_file_exists funksjon som har forårsaket en feil på enkelte blogger.
- Lagt muligheten til å tillate eller filtrere likt innhold.
- Det er nå mulig å fri redigere robots.txt fil fra innstikket admin panelet.
- Robots.txt-filen er nå serveres hvis nettadressen gjør eller ikke inneholder www-prefikset. URL sammenligning er nå også små bokstaver.
- Lagt til 'sitemap.xml.gz' til roboter tillate all del.
- XML Sitemap plugin advarselen er nå skjult hvis det virtuelle robots.txt-filen blir servert på riktig måte.
- PHP-koden er nå fullt kommentert.
- Lagt nonce og admin sjekke alle administrasjonspanel innstillingsendringer (sikkerhetshensyn).
- Flyttet alle alternativer til ett assosiativ matrise resulterer i mindre og enklere å følge kode med færre samtaler til alternativet tabellen.
- Rettet feil som stoppet admin siden belastning på enkelte systemer.
- Lagt til "Settings" link til plugin-menyen ved hjelp kode levert av Jay .
- Fjernet PHP5 funksjon stream_get_contents og erstattet med bakoverkompatibel fgets som foreslått av Jay .
- Nå oppdager tilstedeværelse av XML Sitemap Generator og hvis eksisterer poste en advarsel som forklarer at dette innstikket også genererer en virtuell robots.txt-fil. XML Sitempas har en opsjon for deaktivering robots.txt-fil generasjon. Igjen, takk Jay for denne tilbakemeldingen.
- Fast definerer, funksjon navn og i10n strenger motstridende med TOCC plugin.
- Modifisert admin innstilling pkt. overskrifter for å utvide delen hvis klikket hvor som helst i overskriften.
- Initial offentlig utgivelse.
Takk til
Jeg ønsker å anerkjenne den verdifulle bistand tilbys av følgende personer:
- Marcis G. for å gi den hviterussiske oversettelse filen.
Kommentarer
Vennligst la meg vite hva du synes. Legg igjen en kommentar hvis du har en forespurt funksjon, fant en bug eller trenger litt hjelp. Alle er velkomne.
31 Responses to "iRobots.txt SEO"
Tilbakesporinger / Pingbacks.
- - 06. Des 2010
[...] Er over oss i dag. Hva jeg skal dekke i dag er bokstaven jeg for CF Internal Link snarvei & iRobots.txt plug-ins. Disse plug-in er ganske rett frem som er grunnen til det er to her [...]
- - 23. April, 2010
[...] IRobots.txt SEO: er en fullt tilpassbar robots.txt virtuell fil generator. IRSEO skaper en svært optimalisert og sikker robots.txt-fil rett ut av esken. Brukere kan velge å aktivere eller deaktivere bestemte nettlesarar, kataloger eller filer ved hjelp av intuitive valg alle som inkluderer detaljerte instruksjoner. [...]
- - 05. Feb 2010
[...] IRobots.txt SEO [...]
- - 29. Jan, 2010
Sosiale kommentarer og analyser for dette innlegget ...
Dette innlegget ble nevnt på Twitter av buildweb: iRobots.txt SEO - MarkBeljaars.com: 9 desember 2009 ... iRobots.txt SEO er en fullt tilpassbar robots.txt Vir .. http://bit.ly/8NVwso # seo ...
- - 23. Des 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Des 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Des 2009
[...] Recomiento probarlo. Descargar iRobots.txt SEO. Compatir con TUS [...]
- - 13. Des 2009
[...] Med intuitive alternativer, alle som inkluderer detaljerte instruksjoner. Last ned og mer info på: iRobots.txt SEO - MarkBeljaars.com __________________ Mail [...]
- - 12. Des 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 12. Des 2009
[...] Wenn Du neu hier bist, möchtest Du vielleicht unseren RSS abonnieren.Powered av WP Greet BoxiRobots.txt SEO von Mark Beljaars ist ein virtuell robots.txt Datei Creator. Zu Den Funksjoner des WordPress Plugins [...]
- - 11. Des 2009
[...] SEO 11. Dezember 2009 | Autor: KHK iRobots.txt SEO vo Mark Beljaars ist ein virtial robots.txt Datei Creator. Zu den Funksjoner gehören unter [...]
- - 09. Des 2009
[...] Mer: iRobots.txt SEO - MarkBeljaars.com Comments0 igjen en kommentar Klikk her for å avbryte [...]
- - 09. Des 2009
[...] Fullstendige opplysninger om plugin kan bli funnet på http://markbeljaars.com/plugins/irobotstxt-seo/ . [...]
Hei Jeg er litt forvirret om hvordan iRobots.txt SEO fungerer når Google XML Sitemaps plugin er installert.
Dersom iRobots plugin installeres etter Google XML Sitemaps-plugin for å aktivere Sitemaps plugin som skal oppdages?
Er det et potensial for konflikt som krever innstillingene i en av de to plugins som skal endres? Hvis hvilke innstillinger som plugin?
Jeg ville være takknemlig for noen avklaring.
Takk
Hei Nick,
Det eneste Google XML Sitemaps gjør er å legge til en enkelt linje til slutten av robots.txt-filen peker til XML sitemap. Hvis du deaktiverer XML Sitemaps fra berøre robots.txt-filen (ved å fjerne markeringen "Add webadressen til den virtuelle robots.txt-filen." Innenfor XML-Sitemaps innstillinger), så iRobots vil automatisk legge til denne oppføringen for deg hvis den oppdager at Google XML Sitemaps plugin er installert.
Håper dette hjelper,
Marker.
Hei, jeg har plugin installert og mysite.com / robots.txt dukker opp fint, men når jeg klikker på plugin innstillinger, får jeg en WordPress feil side som bare sier: "Du har ikke tilstrekkelige tillatelser til å aksessere denne siden. "
Noen ideer?
Hei JoJo. Jeg bruker nonces som en ekstra sikkerhetstiltak for å stoppe XSS angrep fra endrer robots.txt-filen. Som en rask løsning, kan du være i stand til å redigere plugin PHP-filen og slette følgende tekst (det vises flere ganger i løpet koden) ...
&& Check_admin_referer ('irseo-change-alternativene-nonce')
Dette vil deaktivere nonces. Jeg finner dette veldig merkelig, men som nonces tendens til å fungere godt i WordPress. Gi meg beskjed hvis denne "fikser" problemet.
Takk,
Marker.
Hei Jeg har installert plug i og aktivere den, men søkemotorer ikke krabbe på nettstedet mitt en side hva er problemet. Jeg bruker Google web master verktøyet legger jeg opp mine sitemap men msg ut til at vi er begrenset av robot.txt. plz hjelpe meg. Min link for roboter og sitemap er
http://reviewaccounting.com/robots.txt
http://reviewaccounting.com/sitemap.xml.gz
plz fortelle meg hva jeg skal gjøre
Jeg venter på ditt svar
Sorry for sent svar. Akismet hadde merket ditt innlegg som spam på grunn av flere linker, og jeg bare sjekke spam en gang i uken eller så før jeg sletter dem.
Jeg sjekket ut robots.txt-filen, og det ser OK. I verktøy for webansvarlige, under området konfigurasjon / robotsøkeprogrammet tilgang, velg test for å teste nettstedet ditt for Googlebot user agent. Jeg testet nøyaktig robots.txt-filen, og det sier Googlebot er tillatt å gjennomsøke området.
Hvis du mistenker at plugin som forårsaker problemer, kan de-aktivere plugin og se om problemet fortsatt gjenstår. Det er helt OK å ikke ha en robots.txt-fil, men Google vil indeksere alle dine admin sidene etc.
Begrenset adgang kan også være forårsaket av din. Htaccess filen.
Marker.
Hei mark,
Jeg har installert plug in, men kan ikke se det noe sted i kilden.
Hvis jeg ikke ser det betyr at det ikke fungerer?
Hei Natalie,
Kan du forklare dette litt mer? Har du iRobots.txt valg i admin innstillinger ruten? Du kan sjekke om plugin fungerer ved å skrive inn følgende i en nettleser:
http://yoururl/robots.txt
For eksempel er nettstedet mitt robots.txt-filen ligger på: http://markbeljaars.com/robots.txt .
Hvis robots.txt-filen ikke finnes, kan det være tre mulige årsaker:
1. Den plugin mislyktes i å installere en eller annen grunn. Fjern forrige install deretter prøve å laste ned fra nettstedet mitt. Deretter velger plugins / legge ny fra admin panelet og klikk last opp koblingen. Last ned zip-filen og aktivere.
2. Din tema er overordnet virtuell fil forespørsler.
3. Din. Htaccess filen blokkerer robots.txt-filen.
Marker.
Mark,
Jeg har nettopp installert din plugin og jeg får følgende feilmelding.
Advarsel: fclose (): leveres argumentet er ikke en gyldig stream ressurs i / Bibliotek / Webserver / Documents / xxxxxxx / wp-content / plugins / irobotstxt-SEO / irobotstxt-seo.php on line 322
Kjører WP 2.9.1. Noen ideer?
Andy
Hei Andy,
Jeg har ikke sett denne feilen før. Hvilken versjon av PHP kjører du? Hvis du er fornøyd redigere PHP-filer, kan du bare slette denne linjen, og plugin skal begynne å jobbe (i PHP, blir filene lukkes automatisk hvis programmereren glemmer å lukke dem). I alle fall vil jeg fikse koden i kveld (australsk tid) og last opp en ny revisjon.
Marker.
Hei Andy,
Jeg har akkurat gitt ut en oppdatering som løser denne feilen, og legger til en ny mulighet til å nekte likt innhold. Forhåpentligvis det fungerer OK for deg nå.
Marker.
Hei, jeg har ett spørsmål, når jeg bruker plugin og opprette robots.txt-filen, vil ikke laste opp programtillegget den til nettsteder katalogen, eller må jeg kopiere filen og laste den opp via http://FTP. .
Takk, den beste robots.txt plugin så langt.
Hei Jara,
Robots.txt-filen er faktisk en virtuell fil. Den plugin oppdager når noen (eller somebot) forsøker å vise http://www.website/robots.txt filen og fanger denne forespørselen. Den plugin deretter sender i stedet en tekst bekk som gjør det ser ut som filen blir sendt. På denne måten blir det notihing du trenger å laste opp. Dessuten er eventuelle endringer i robots.txt-filen immidiately reflektert. Det er en catch med denne metoden selv. Hvis en fysisk robots.txt-fil (dvs. en som du har FTP lastet), vil dette alltid bli vist i stedet for virtuell fil. Dette betyr at du må slette (eller endre navn) eventuelle fysiske robots.txt-filer for å bruke denne plugin.
Håper dette hjelper,
Marker.
Jeg har ett spørsmål. Jeg merket i Google Webmaster Tools betraktning at Google ikke får tilgang til "sitemap.xml.gz" fil som det er begrenset av robots.txt-filen genrated av plugin din. (Områdekartene mine er generert av "Google XML Sitemaps" plugin og "Legg til sitemap til virtuelle robots.txt" er avmerket som du instruere).
Kontroll teksten den genererte robots.txt-filen den viser plasseringen av de sitemap som "just-thinkin.net/sitemap.xml.gz" (jeg har både "sitemap.xml" og "sitemap.xml.gz" i min rotkatalog) men det blokkerer tilgangen til denne svært sitemap av oppføringen "Disallow: /. * gz $".
Selv om Google har tilgang til min "sitemap.xml" fil okay Jeg er fortsatt forvirret på hvorfor sitemap plassering oppført i den genererte robots.txt er med hensikt blokkert til alle roboter samtidig. Er dette egentlig hvordan ting er ment å fungere? Google var alltid tilgang til begge sitemaps når jeg bruker gamle manuelle robots.txt (den gamle hadde et problem med gyldighet at jeg aldri kunne spore opp).
Takk for en fin plugin forøvrig.
Hei Kirk. Flott detektivarbeid! Du er selvsagt helt riktig. Den Forby stopper noen. Gz filer fra å bli gjennomgått. Grunnen. Gz-filer er normalt ikke tillatt, er å sikre at backup filer (GZ er en utvidelse brukt til komprimerte filer) ikke er indeksert. Jeg vil fikse denne konflikten i neste versjon. Dette bør være grunn i en mindre enn en uke, og vil muliggjøre fri form redigering av den påfølgende robots.txt-filen.
I mellomtiden kan du fikse dette ved å åpne iRobots SEO innstillinger side og velge "Advanced Configuration". I User Agent tekstboksen, skriv "*". Velg "tillate" i rullegardinmenyen og skriv "/ sitemap.xml.gz" i tekstboksen ved siden av nedtrekksmenyen. Til slutt trykker du på "Add Custom Record"-knappen.
Når du viser den resulterende robots.txt-filen, bør du se et par linjer som dette:
# Custom RecordsUser-agent: *
Allow: /sitemap.xml.gz
Håper dette hjelper.
God deal og takk for arbeidet med en ny utgivelse. Jeg har lagt den egendefinerte posten. Fungerer fint.
Jeg støtter deg, best hvis den kan tillate fri redigering ..
God idé Sevi. Vil legge fri redigering til neste utgivelse.
Marker.