Robots.txt SEO tehnike
Ta objava je dolg, vendar pomembna. Priporočam vam zgrabi skodelico vroče čokolade pred svojim začetkom 
Če še niste slišali za datoteko robots.txt, je preprosto majhno datoteko, ki se nahajajo v vašem imeniku spletni strani korenin, ki naroči, iskalniki o tem, kaj lahko in česa ne. Čeprav ni strogo izvrševati, se bote iskalnik na splošno spoštovati pravila, določena naprej v datoteki robots.txt. S pravilno nastavljen datoteko robots.txt lahko na primer poskus, da bi obranila nezaželeno pošto, povej google ni kazalo slike ali navodila bote, da preskočite strani, ki lahko vsebujejo podvojene vsebine.
Boti so kosi opreme, ki jih uporabljajo podjetja iskalnik in pošiljatelje neželene elektronske pošte in vsebin akumulatorjev plazijo po internetu, da bi našli nove ali spremenjene vsebine. A bot je naloga je, da sledite povezave na spletni strani plazi od strani do strani in mesta do mesta. To je nekako kot Six Degrees of Kevin Bacon stvar. Sledite dovolj povezav in bi morali na koncu našli vse vsebine na internetu. Zato povratne tako pomembna. Več povratne imate, lažje je za iskalnike, da bi našli svojo vsebino. Obstaja dobesedno na milijone bot primerih vlečnimi mrežami neto naenkrat. Uradni izraz za bot je uporabniku agent, ki je na tisoče. Vzemimo na primer Google. Google ima veliko različnih uporabniško sredstva se uporabljajo za indeks vašo spletno stran, ekstrakt slike in video posnetke, iskanje novic, najti vsebine za mobilni telefon, preverite vašo spletno stran za kakovost Adsense in tako naprej. Ta stran podrobnosti celoten seznam znanih stranskih uporabnik agentov.
Datoteka robots.txt je bila približno za starost. To je bil dejansko uveden z AltaVista leta 1994, zdaj pa je še vedno osnovno živilo za spletne pajke. Za popoln opis datoteke in njeno standardno zapisa, obiščite tukaj . Skratka, lahko datoteko robots.txt omejiti določene bote od plazil vaše celotno spletno stran ali njen del. Če želite to narediti, vse bote imajo poseben podpis. Na primer, indeks bot Googlov imenuje Googlebot, se bot Bing Imenuje MSNbot in bot Yahoo se imenuje Yahoo! Slurp.
Vpis v datoteko robots.txt lahko videti takole:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Tu se govori sredstvo uporabniški Slurp, da lahko dostopa do vseh strani, ki se nahajajo v vsakem imeniku se začne z "javno", in nimajo dostopa do strani z "_print" v URI.
Spodaj je popoln robots.txt datoteko za eno od mojih poskusov strani WordPress (bom post članek, ki pojasnjuje, kaj mislim s poskusno mestu še en dan). Bistroumno bralci lahko opazili, da sem jaz zavrnila vse uporabniške sredstva iz posebnih imenikih, in samo kar nekaj posebnih agenti uporabnik dostopa do ostalih področjih svojo spletno stran. Nedavna posodobitev s standardom tudi mi omogoča, da seznam mesto moje kazalo, da pomaga iskalniki najdejo vse moje strani.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Izločanju bote dostop do vsebin, ki niso namenjene za prehrano bo zagotovila, da bo vaša stran še naprej ključno besedo optimizirana na vseh straneh in tako pomaga spodbuditi vaše spletne strani v iskalnik uvrstit. Recimo na primer ste trdo delali na optimizaciji vse strani za ključno besedo "pridobivanje teže" in različnimi dolgimi repi. Vaše delo se lahko filtrira določene v očeh iskalnik, če je bila možnost, da preišče vaše prijavno stran, stran in zasebnost kontaktnega obrazca.
Nekatere SEO strokovnjaki trdijo tudi, da Google kaznuje spletne strani mladih v korist starejših bolj uveljavljenih straneh. Google očitno uporablja internet arhiv (našel tukaj ), da določitev starosti mestu. Če je ne najde mesta v arhivu, je očitno predpostavlja, spletna stran je določeno starost. Iz tega razloga se veliko ljudi aktivno ustaviti Internet Archive uporabniku posrednika iz svoje spletne strani indeksira. To je mogoče storiti z vključitvijo naslednje vrstice:
User-agent: ia_archiver-web.archive.org
Disallow: /
Morda boste želeli ustaviti tudi slike bote dostop do slik, če so jih najeli brez zalog slik iz drugih strani. To je mogoče storiti tako, kot so:
User-agent: Googlebot-Image
Allow: /
Končno se lahko, robots.txt uporablja za izključitev bote iz posebnih strani, ki se lahko uporabljajo za prikaz vsebine, ki so lahko na voljo na drugih spletnih strani ali strani. Pogosto je trdil, da bo Google kaznovanje svoje ocene za prikaz podvojene vsebine. Jaz osebno ne vidim, da je to velik problem in verjamem, da lahko podvojene vsebine dejansko pomaga vaše spletne strani rating v nekaterih primerih (več o tem še en dan). Kakorkoli že, ustaviti bot dostop do določene strani, dodajte naslednje vrstice:
User-agent: *
Disallow: */my-duplicate-page.html
Upoštevajte, da to ni tepec-proof metoda. Če je vaš prepovedati stran ima povezave do njega iz druge strani, bo še vedno zlezla z nezaželeno.
Lahko bi nadaljuj, vendar sem prepričan, da so vsi do sedaj že dolgčas. Vas prosimo, da spodaj! Ali neposredno stik z mano, če želite izvedeti več.
Srečno roboting.
Pozdravljeni,
markbeljaars.com na GoogleReader!
Hvala
Bernier