Ky post është e gjatë, por e rëndësishme. Unë rekomandoj që ju kap një filxhan çokollatë të ngrohtë para fillimit tuaj 
Nëse ju nuk keni dëgjuar për dosjen robots.txt, kjo është thjesht një skedar i vogël që gjendet në direktoriumin root faqen tuaj te internetit që udhëzon motorë kërkimi në atë që ata mund dhe nuk mund të bëjë. Edhe pse nuk është zbatuar në mënyrë rigoroze, robotët search engine përgjithësi do të respektojnë rregullat e vendosura përpara në dosjen robots.txt. Me një fotografi robots.txt konfiguruar siç duhet mund, për shembull, përpjekje për të shmangur spam bots, them që të mos google index imazhet tuaja ose udhëzojë robotët të kaloni faqet që mund të përmbajnë përmbajtje kopjuar.
Bots janë pjesë e programeve të përdorura nga kompanitë search engine, spammers dhe akumulatorëve përmbajtjes për të zvarritje në internet për të gjetur përmbajtje të re ose të modifikuar. Punë një bot është të ndiqni lidhjet në një faqe interneti zvarritje nga faqja në faqe dhe faqja në faqe. Është si një lloj Six Degrees of gjë e Kevin Bacon. Ndiqni lidhjet e mjaftueshme dhe ju duhet përfundimisht të gjeni të gjitha përmbajtjet në net. Kjo është arsyeja pse backlinks janë kaq të rëndësishme. Të backlinks më keni, më lehtë është për motorët e kërkimit për të gjetur përmbajtjen tuaj. Ka fjalë për fjalë miliona raste bot trawling neto në çdo kohë. Termi zyrtar për një bot është një user-agjent i që ka mijëra. Lejon të marrë Google për shembull. Google ka shumë të ndryshme për përdoruesit agjentë përdoren për indeksin faqen tuaj, ekstrakt imazhe dhe video, të gjejnë Foto, Muzikë, gjeni përmbajtjen e telefonit celular, kontrolloni faqen tuaj për cilësinë e Adsense dhe kështu me radhë. Kjo faqe Detajet një listë të plotë të njohura user-agjentët.
Fotografi robots.txt ka qenë rreth për moshat. Ajo u prezantua në fakt nga AltaVista në vitin 1994, por tani mbetet një ushqim kryesor për spiders web. Për një përshkrim të plotë të dosjes dhe shënim të saj standarde, vizitoni ketu . Me pak fjalë, një fotografi robots.txt mund të kufizojnë bots specifike nga zvarritje faqen tuaj të gjithë apo pjese të saj. Për ta bërë këtë, të gjitha robotët të ketë një firmë të veçantë. Për shembull, bot Google indeksi quhet Googlebot, bot Bing është quajtur MSNbot, dhe bot Yahoo quhet slurp Yahoo!.
Një hyrje në dosjen robots.txt mund të duket si ky:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Këtu ne jemi duke u thënë agjenti anëtarit slurp se ajo mund të kenë qasje të gjitha faqet e vendosura në çdo directory filluar me "publik", dhe nuk kanë qasje në faqet me "_print" në URI.
Më poshtë është një file të plotë robots.txt për një nga faqet e mia eksperimentale WordPress (i do të postoni një artikull të shpjeguar se çfarë dua të them me vend eksperimental një ditë tjetër). Lexuesit e zgjuar mund të vini re se unë jam disallowing të gjithë agjentët e përdoruesit nga drejtorive të veçanta, dhe vetëm duke lejuar disa agjentë të veçanta përdorues qasje në zonat e mbetura të web faqen time. Një Azhurimi i fundit për standarde lejon gjithashtu mua tek lista vendndodhjen e hartës web faqen time për të ndihmuar në motorë kërkimi të gjeni të gjitha faqet e mia.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Disallowing bots nga qasja në përmbajtje jo të destinuara për konsum do të sigurojë që faqja e juaj do të mbeten fjalen optimizuar në të gjitha faqet, duke ndihmuar të promovuar faqen tuaj brenda renditjen search engine. Thuaj për shembull ju keni punuar shumë në të gjitha faqet e optimizuar për "shtim në peshë" fjalen dhe bishtin ndryshme të gjata. Puna juaj mund të jetë filtruar poshtë në sytë e motorit të kërkimeve në qoftë se ajo ishte në gjendje të zvarritem faqen tuaj login, faqe privacy dhe forma e kontaktit.
Disa ekspertë SEO gjithashtu argumentojnë se Google ndëshkon faqet e internetit të rinj në favor të vendeve më të vjetër më të vendosur. Google me sa duket përdor Arkivi internet (gjetur këtu ) për të përcaktuar moshën e një faqe. Nëse nuk mund të gjejnë vend në arkiv, ai duket supozon faqe është një moshë të caktuar. Për këtë arsye, shumë njerëz në mënyrë aktive të ndaluar Arkivi internet user-agjent nga indeksimin faqen e tyre. Kjo mund të bëhet duke përfshirë linjat e mëposhtme:
User-agent: ia_archiver-web.archive.org
Disallow: /
Ju mund të dëshironi të ndalet edhe bots imazh nga qasja në fotografitë tuaj, nëse ata e kanë huazuar jo-aksioneve imazhe nga zona të tjera. Kjo mund të bëhet si kështu:
User-agent: Googlebot-Image
Allow: /
Së fundi, robots.txt mund të përdoret për të përjashtuar bots nga faqet specifike që mund të përdoren për të shfaqur përmbajtjen që mund të jetë në dispozicion në zona të tjera apo faqet. Shpesh thuhet se Google do të dënojë ratings tuaj për të shfaqur përmbajtjen e kopjuar. Unë personalisht nuk e shoh këtë si një çështje të madhe dhe besojnë se përmbajtja e kopjuar fakt mund të ndihmojë Vlerësimi i sitit tuaj në disa raste (më shumë në lidhje me këtë një ditë tjetër). Gjithsesi, për të ndaluar një bot nga qasja në një faqe të veçantë, shtoni linjat e mëposhtme:
User-agent: *
Disallow: */my-duplicate-page.html
Vini re se kjo nuk është një budalla-provë metodë. Nëse faqja juaj ndaluar ka lidhje me atë nga një faqe tjetër, ajo do të vazhdojë të gjurmuar nga bots.
Unë mund të të mbajë, por unë jam i sigurt që ju jeni i mërzitur gjitha deri tani. Mos ngurroni të komentojë më poshtë ose të kontaktojnë direkt qoftë se ju dëshironi të dini më shumë.
Roboting lumtur.
