Detta inlägg är en lång men viktig. Jag rekommenderar att du ta en kopp varm choklad innan du påbörjar 
Om du inte har hört talas om robots.txt-filen är det helt enkelt en liten fil som finns på din webbplats rotkatalog som instruerar sökmotorer på vad de kan och inte kan göra. Även om det inte strikt, kommer sökmotorn bots respekterar generellt de regler som framåt i filen robots.txt. Med en korrekt konfigurerad robots.txt-fil kan du till exempel försök att avvärja spam bots, tala om för Google att inte indexera dina bilder eller instruera robotar att hoppa sidor som kan innehålla dubbletter.
Bots är bitar av programvara som används av företag sökmotorer och spammare och ackumulatorer innehåll till genomsöka internet för att hitta nytt eller ändrat innehåll. En bot uppgift är att följa länkar på en webbsida kryper från sida till sida och plats till plats. Det är ungefär som en sex grader med Kevin Bacon sak. Följ tillräckligt länkar och du bör så småningom hitta allt innehåll på nätet. Det är därför bakåtlänkar är så viktiga. Ju fler bakåtlänkar du har, desto lättare är det för sökmotorerna att hitta ditt innehåll. Det finns bokstavligen miljontals bot fall trålfiske nätet vid någon tidpunkt. Den officiella termen för en bot är en user-agent som det finns tusentals. Låt oss ta Google till exempel. Google har många olika användardefinierade medel som används för att indexera din webbplats, extrahera bilder och videor, hitta nyhetsflöden, hitta mobilt innehåll till telefonen, kontrollera din webbplats för Adsense kvalitet och så vidare. Detta webbplatsen detaljer en komplett lista över kända user-agents.
Robots.txt-filen har funnits i evigheter. Det var faktiskt introducerades av AltaVista 1994, men nu återstår en basföda för web spindlar. För en fullständig beskrivning av filen och dess standard notation, besök här . I korthet kan en robots.txt-fil begränsa specifika sökrobotar från att genomsöka hela webbplats eller del därav. För att göra detta, alla robotar har en speciell signatur. Till exempel är Googles index bot kallas Googlebot är Bings bot heter MSNbot och Yahoo: s bot heter Yahoo! Slurp.
En post i filen robots.txt kan se ut så här:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Här är vi talar Slurp User Agent att det kan komma åt alla sidor som finns i en katalog som börjar med "allmänheten", och har ingen tillgång till sidor med "_print" i URI.
Nedan är en komplett robots.txt-fil för en av mina experimentella WordPress sidor (jag kommer lägga upp en artikel som förklarar vad jag menar med experimentell webbplats annan dag). Skarpsinniga läsare kan notera att jag underkänna alla användarprogram från specifika kataloger och bara låta vissa användarprogram tillgång till övriga delar av min webbplats. En ny uppdatering av standarden gör mig också att lista placeringen av min sajt kartan för att hjälpa sökmotorerna att hitta alla mina sidor.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Underkänna robotar från att komma åt innehållet inte avsedd för konsumtion kommer att se till att din webbplats kommer att förbli sökordet optimerad på alla sidor, vilket bidrar främja din webbplats inom sökmotorer. Säg till exempel att du har arbetat hårt för att optimera alla sidor för sökordet "viktökning" och de olika långa svansar. Ditt arbete kan filtreras ner i ögonen på sökmotorn om det kunde genomsöka din inloggningssida, integritet sida och kontaktformulär.
Vissa SEO-experter hävdar också att Google straffar unga webbplatser till förmån för äldre mer etablerade webbplatser. Google använder tydligen Internet Archive (hittade här ) för att bestämma åldern på en webbplats. Om den inte kan hitta platsen i arkivet, antar det tydligen platsen är en viss ålder. Av denna anledning är det många som slutar aktivt Internet Archive user-agent från att indexera deras webbplats. Detta kan göras genom att inkludera följande rader:
User-agent: ia_archiver-web.archive.org
Disallow: /
Du kanske vill också stoppa bild robotar från att komma åt dina bilder om de har lånat utanför lager bilder från andra webbplatser. Detta kan göras så här:
User-agent: Googlebot-Image
Allow: /
Slutligen kan robots.txt användas för att exkludera robotar från vissa sidor som kan användas för att visa innehåll som kan finnas på andra webbplatser eller sidor. Det hävdas ofta att Google kommer att straffa dina betyg för att visa samma innehåll. Jag personligen ser inte detta som en stor fråga och tror att samma innehåll faktiskt kan hjälpa din webbplats betyg i vissa fall (mer om detta en annan dag). Hur som helst, för att stoppa en bot från att komma åt en viss sida, lägg till följande rader:
User-agent: *
Disallow: */my-duplicate-page.html
Notera att detta inte är en idiotsäker metod. Om otillåtna sida har länkar till den från en annan webbplats, kommer det fortfarande genomsöks av robotar.
Jag kunde fortsätta, men jag är säker ni alla är uttråkad nu. Kommentera gärna nedan eller kontakta mig direkt om du vill veta mer.
Lycklig roboting.
