Robots.txt Tekniki SEO
Dan il-post hija waħda twila imma importanti. I jirrakkomandaw inti grab 'tazza ta' ċikkulata sħuna qabel tibda tiegħek 
Jekk int ma jinstema 'l-fajl robots.txt, huwa sempliċement fajl żgħar li jinstabu f direttorju tiegħek għerq website li jagħti struzzjonijiet magni tat-tiftix fuq dak li jista' u ma tistax tagħmel. Għalkemm mhux strettament infurzata, bot search engine ġeneralment jirrispetta r-regoli stabbiliti l quddiem fil-fajl robots.txt. Bil-fajl robots.txt konfigurati kif suppost tista ', per eżempju, tentattiv biex fend off spam bots, għid google ma indiċi tiegħek immaġini jew struzzjonijiet bot li skip paġni li jista' jkun fihom duplikat kontenut.
Bots huma biċċiet ta 'softwer użati mill-magna kumpaniji tat-tiftix, min jispammja u akkumulaturi kontenut li jitkaxkru l-internet biex isibu kontenut ġdid jew modifikat. Impjieg A bot huwa li ssegwi links fuq websajt crawling minn paġna għal paġna u post għall-post. Huwa tip ta 'prodotti simili ftit Gradi Sitt ta' ħaġa Bacon Kevin. Segwi r-rabtiet biżżejjed u inti għandek eventwalment isibu l-kontenut kollu fuq l-internet. Dan huwa għaliex backlinks huma tant importanti. Il-backlinks aktar ikollok, ikun iktar faċli għall-magni tat-tiftix biex isibu kontenut tiegħek. Hemm litteralment miljuni ta 'każijiet bot tkarkir l-internet fi kwalunkwe ħin. It-terminu uffiċjali għal bot huwa utent aġent li minnhom hemm eluf. Tikri tieħu Google per eżempju. Google għandha ħafna differenti għall-utenti l-aġenti wżati biex indiċi tiegħek sit, estratt stampi u filmati, issib aħbarijiet għalf, isibu kontenut mowbajl, iċċekkja tiegħek sit għall-kwalità Adsense u l-bqija. Dan sit dettalji lista kompluta ta 'magħrufa utent-aġenti.
Il-fajl robots.txt kien madwar għall-etajiet. Kien fil-fatt introdotta mill AltaVista fl-1994, iżda issa tibqa 'ikel bażiku għal Brimb web. Għal deskrizzjoni sħiħa tal-fajl u notazzjoni standard tagħha, żur hawn . Fil-qosor, fajl robots.txt jistgħu jirrestrinġu Bots speċifiċi mill crawling sit tiegħek kollu jew parti minnu. Biex tagħmel dan, l bot jkollu firma speċjali. Per eżempju, bot indiċi tal-Google hija msejħa Googlebot, bot Bing tissejjaħ MSNbot, u bot Yahoo tissejjaħ Slurp Yahoo!.
Istrazzjoni fil-fajl robots.txt jista look like dan:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Hawnhekk aħna qed ngħidu l-aġent utent Slurp li jista 'jkollhom aċċess il-paġni kollha li jinsabu fi kwalunkwe direttorju jibdew bl-"pubbliku", u ma jkollhom ebda aċċess għall-paġni bil "_print" fil-URI.
Hawn taħt huwa fajl robots.txt kompleta għal wieħed ta 'siti tiegħi WordPress sperimentali (I ser post artikolu jispjega dak li jfisser minn sit sperimentali jum ieħor). Qarrejja astute jista jinnota li jiena ma jippermettux l-aġenti kollha ta 'utenti mill-direttorji speċifiċi, u li jippermettu biss xi aġenti utent speċifiċi aċċess għall-oqsma l-oħra ta' sit tiegħi. A aġġornament reċenti l-istandard jippermetti wkoll me għal-lista il-post ta mappa tas-sit tiegħi biex jgħin search engines issib kollha ta 'paġni tiegħi.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Jeskludi Bots milli jaċċessaw kontenut mhux maħsub għall-konsum se tiżgura li sit tiegħek se jibqgħu keyword ottimizzati fil-paġni kollha, u b'hekk jgħinu jippromwovu sit tiegħek fil-klassifiki search engine. Say per eżempju inti ħdimt iebes fuq ottimizzat paġni kollha għall-keyword "żieda fil-piż" u l-dnub twal varji. Xogħol tiegħek tista 'tiġi ffiltrata fl-għajnejn tal-search engine jekk kien kapaċi li jitkaxkru login paġna tiegħek, paġna privatezza u l-forma ta' kuntatt.
Xi esperti SEO jargumentaw ukoll li Google jikkastiga websajts żgħażagħ favur siti anzjani aktar stabbiliti. Google apparentement juża l-Arkivju Internet (misjuba hawn ) biex jiddeterminaw l-età ta 'sit. Jekk ma tistax issib is-sit fl-arkivju, huwa apparentament jassumi s-sit huwa ċertu età. Għal din ir-raġuni, ħafna nies attivament iwaqqfu l-Arkivju Internet utent aġent mill indiċjar sit tagħhom. Dan jista 'jsir billi inklużi l-linji li ġejjin:
User-agent: ia_archiver-web.archive.org
Disallow: /
Inti tista 'tixtieq li wkoll twaqqaf Bots immaġni milli jaċċessaw ir-ritratti jekk dawn ikunu mislufa mhux istokk immaġini minn siti oħra. Dan jista 'jsir bħal dan:
User-agent: Googlebot-Image
Allow: /
Fl-aħħarnett, robots.txt jistgħu jintużaw biex jeskludu bot mill-paġni speċifiċi li jistgħu jintużaw biex juru kontenut li jista 'jkun disponibbli fuq siti oħra jew il-paġni. Huwa ta 'spiss argumentat li Google se jikkastigaw klassifikazzjonijiet tiegħek għall-wiri duplikat kontenut. Jien personalment ma tara dan bħala kwistjoni kbira u jemmnu li l-kontenut duplikat jista 'effettivament jgħin klassifikazzjoni sit tiegħek f'xi każijiet (aktar dwar dan jum ieħor). Xorta waħda, li tieqaf bot milli jaċċessaw paġna speċifiku, żid il-linji li ġejjin:
User-agent: *
Disallow: */my-duplicate-page.html
Innota li din mhix metodu iqarqu-prova. Jekk il-paġna ma tintlaqax tiegħek links għal dan minn sit ieħor, hija xorta se tkun crawled mill-bots.
I jistgħu jibqgħu għaddejjin, imma jien ċert li inti huma kollha bored minn issa. Ħossok liberu li jikkummentaw hawn taħt jew tikkuntattjani direttament jekk tixtieq tkun taf aktar.
Happy roboting.
Hi hemmhekk,
markbeljaars.com biex GoogleReader!
Grazzi
Bernier