Ez a bejegyzés egy hosszú, de fontos. Azt javasoljuk, hogy megragad egy csésze forró csokoládét, mielőtt elindul 
Ha még nem hallott a robots.txt fájlt, akkor egyszerűen egy kis fájl található a honlapon gyökérkönyvtárában, amely arra utasítja a keresőmotorok, hogy mit tehetnek és mit nem. Bár nem szigorúan, kereső robotok általában tiszteletben tartja a szabályokat be előre a robots.txt fájlban. Egy megfelelően konfigurált robots.txt fájlt is, például a kísérlet, hogy elhárítsa a spam botoktól, hogy a Google nem indexeli az képeket vagy utasíthatja a botokat kihagyja oldalak tartalmazhatnak ugyanazzal a tartalommal.
A botok olyan szoftverek által használt keresőprogram cégek, spammerek és a tartalom akkumulátorok feltérképezni az interneten, hogy megtalálják az új vagy módosított tartalmat. A bot feladata, hogy kövesse linkeket a honlapon mászó oldalról oldalra és webhelyek között. Ez olyan, mint egy Six Degrees of Kevin Bacon dolog. Kövesse elég kapcsolatok és akkor végül megtalálja a tartalmat a neten. Ezért annyira fontos linkek. Minél több backlinks van, annál könnyebb a keresőprogramokat a tartalmat. Szó szerint több millió példány bot vonóhálós a nettó egy időben. A hivatalos kifejezés a bot egy user-agent, amelyek több ezer. Lehetővé teszi, hogy például a Google. A Google számos különböző böngészők használt index webhely, kivonat képek és videók, meg hírcsatornákat, meg mobiltelefon tartalmak, ellenőrizze a webhely AdSense minőség és így tovább. Ez a honlap adatok teljes listáját a felhasználó által ismert szerek.
A robots.txt fájl már körülbelül korosztály számára. A ténylegesen bevezetett AltaVista 1994-ben, de most marad vágott étel web pókok. A teljes leírást a fájl és a szabványos jelölés, látogasson el ide . Röviden, a robots.txt fájl korlátozása adott botok feltérképezni a teljes honlap vagy annak egy része. Ehhez az összes bot egy speciális aláírás. Például a Google indexéből bot neve Googlebot, Bing bot MSNbot hívják, és a Yahoo bot hívják Yahoo! Slurp.
Egy bejegyzés a robots.txt fájl így néz ki:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Itt azt mondják a Slurp ágens, hogy képes elérni az összes oldalt található bármely könyvtárban kezdődik "public", és nem férnek hozzá az oldalt "_print" az URI.
Az alábbiakban egy komplett robots.txt fájl egyik kísérleti WordPress oldal (írok egy cikket arról, hogy mi értek kísérleti terület egy másik nap). Ügyes olvasók figyelmét, hogy én vagyok letiltanak minden felhasználói ügynökök olyan speciális könyvtárakat, és csak így néhány konkrét felhasználói ágensek hozzáférést a fennmaradó területek oldalamon. Egy nemrégiben készült frissítés a standard azt is lehetővé teszi számomra, hogy sorolja fel a helyét az én oldaltérképet, hogy segítsen megtalálni keresőmotorok minden oldalam.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Letiltanak botok tartalom elérését nem fogyasztásra szánt biztosítja, hogy a helyszínen marad kulcsszó optimalizált minden oldalon, így segítve reklámozza a webhelyét a keresőmotorok rangsorolását. Mondjuk például már keményen dolgoztak, hogy optimalizálja az összes oldalt a kulcsszó "hízás" és a különböző hosszú farokkal. Munkád le lehet szűrni a szemében a keresőt, ha képes volt feltérképezni a bejelentkező oldalra, a magánélet oldal és a kapcsolattartó űrlapot.
Néhány SEO szakértők azzal érvelnek, hogy a Google bünteti a fiatal honlapok mellett régebbi, létrehozott oldalakat. A Google láthatóan használja az Internet Archive (megtalálható itt ), hogy meghatározzák a korát a helyszínen. Ha nem találja a helyén az archívumban, ez nyilvánvalóan feltételezi, hogy a honlap egy bizonyos korban. Emiatt sokan aktívan megállítani az Internet Archive user-agent nem fogja indexelni az oldalt. Ez úgy valósítható meg, többek között a következő sorokat:
User-agent: ia_archiver-web.archive.org
Disallow: /
Elképzelhetõ, hogy le is állíthatja a kép botok hozzáférjenek a képeket, ha azok nem kölcsönzött állomány képek más oldalakon. Ezt megtehetjük például így:
User-agent: Googlebot-Image
Allow: /
Végül robots.txt lehet kizárni, hogy botok bizonyos oldalakon, hogy lehet használni a tartalom megjelenítésére esetleg elérhető más webhelyekre vagy oldalakra. Gyakran elhangzik, hogy a Google fogja büntetni a szavazatokkal megjelenítésére ugyanazzal a tartalommal. Én személy szerint nem látja ezt, mint egy nagy kérdés, és úgy vélik, hogy ugyanazzal a tartalommal ténylegesen segítenek a webhely értékelése egyes esetekben több (erről egy másik nap). Mindegy, hogy megakadályozzon egy botot hozzáférést egy adott oldalon, az alábbi sorokat:
User-agent: *
Disallow: */my-duplicate-page.html
Megjegyzendő, hogy ez nem egy üzembiztos módszer. Ha tiltva van az oldalon link mutat rá a másik oldalra, akkor továbbra is kúszott a bot.
Tudtam tartani fog, de biztos vagyok benne, mind a most unatkozik. Nyugodtan comment alatt vagy közvetlenül kapcsolatba lépni velem, ha szeretne többet tudni.
Boldog roboting.
