Dieser Beitrag ist ein langer, aber sehr wichtig. Ich empfehle Ihnen, eine Tasse heiße Schokolade vor dem Start 
Wenn Sie nicht der robots.txt-Datei habe gehört, es ist einfach eine kleine Datei auf Ihrer Website Root-Verzeichnis, dass Suchmaschinen angewiesen auf das, was sie können und was nicht entfernt. Obwohl nicht streng durchgesetzt wird Suchmaschinen-Bots in der Regel die Regeln nach vorne in die robots.txt-Datei eingestellt. Mit einem richtig konfigurierten robots.txt-Datei können Sie zum Beispiel versuchen, abzuwehren Spam Bots, sagen google nicht zu indizieren Sie Ihre Bilder oder anweisen, Bots auf Seiten, die doppelte Inhalte enthalten können übersprungen werden.
Bots sind kleine Software, die von Suchmaschinen-Unternehmen, Spammer und Content-Akkumulatoren verwendet werden, um im Internet zu kriechen, um neue oder geänderte Inhalte zu finden. Ein Bot ist die Aufgabe des Links auf einer Website kriechen von Seite zu Seite und Standort zu Standort folgen. Es ist wie eine Art von Six Degrees of Kevin Bacon Sache. Folgen Sie genug Links, und Sie sollten schließlich finden Sie alle Inhalte im Netz. Aus diesem Grund Backlinks so wichtig sind. Je mehr Backlinks Sie haben, desto leichter ist es für Suchmaschinen, um Ihre Inhalte zu finden. Es gibt buchstäblich Millionen von Bot-Instanzen Schleppnetzfischerei das Netz zu einem beliebigen Zeitpunkt. Die offizielle Bezeichnung für einen Bot ist ein User-Agent, von denen es Tausende. Nehmen wir zum Beispiel Google. Google hat viele verschiedene User-Agents verwendet werden, um Ihre Website indizieren, extrahieren Sie Bilder und Videos finden Sie Nachrichten-Feeds, finden Handy-Content, überprüfen Sie Ihre Website für Adsense Qualität und so weiter. Diese Site Details Eine vollständige Liste der bekannten User-Agents.
Die robots.txt-Datei gibt es schon seit Ewigkeiten. Es war tatsächlich eingeführt AltaVista im Jahr 1994, aber jetzt bleibt ein Grundnahrungsmittel für Spinnen. Für eine vollständige Beschreibung der Datei und deren Standard-Notation, besuchen Sie hier . Kurz gesagt, kann eine robots.txt-Datei bestimmte Bots kriechen Ihre gesamte Website oder Teile davon zu beschränken. Dazu haben alle Bots eine spezielle Signatur. Zum Beispiel Google-Index Bot heißt Googlebot ist Bings Bot namens MSNbot und Yahoo Bot heißt Yahoo! Slurp.
Ein Eintrag in der robots.txt-Datei kann wie folgt aussehen:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Hier erzählen die Slurp User-Agent, dass er alle Seiten in ein beliebiges Verzeichnis, beginnend mit "public" zugreifen können, und haben keinen Zugang zu Seiten mit "_print" in der URI.
Unten finden Sie eine komplette robots.txt-Datei für eine meiner experimentellen WordPress-Websites (Ich werde einen Artikel zu erklären, was ich durch experimentelle Seite bedeutet einen weiteren Tag post). Aufmerksame Leser werden sagen, dass ich nicht anzuerkennen alle User Agents aus bestimmten Verzeichnissen, und nur so bestimmte User-Agents, um die verbleibenden Bereiche meiner Website zugreifen. Eine aktuelle Update auf die Standard erlaubt mir auch die Position meiner Website Karte zu helfen Suchmaschinen finden Sie alle meine Seiten Liste.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Verbieten Bots Zugriff auf Inhalte nicht zum Verzehr bestimmt wird sichergestellt, dass Ihre Website Keyword auf allen Seiten optimiert bleiben, so helfen die Promotion Ihrer Website in den Suchmaschinen-Rankings. Sagen Sie zum Beispiel hart an der Optimierung aller Seiten nach dem Stichwort "Gewichtszunahme" und die verschiedenen langen Schwänzen gearbeitet. Ihre Arbeit kann sich in den Augen der Suchmaschine gefiltert werden, wenn sie in der Lage, Ihre Login-Seite, die Privatsphäre-Seite und Kontakt-Formular kriechen war.
Einige SEO-Experten argumentieren auch, dass Google jungen Websites bestraft zu Gunsten der älteren etablierten Standorten. Google anscheinend nutzt das Internet Archive (gefunden hier ), um das Alter einer Website zu ermitteln. Wenn es nicht finden können, die Website in das Archiv, es geht offenbar davon aus der Website ist ab einem bestimmten Alter. Aus diesem Grund viele Menschen aktiv beenden Sie den Internet-Archiv User-Agent von der Indizierung ihrer Website. Dies kann durch die folgenden Zeilen geschehen:
User-agent: ia_archiver-web.archive.org
Disallow: /
Vielleicht möchten Sie auch aufhören image Bots Zugriff auf Ihre Bilder, wenn sie nicht Bilder von anderen Seiten haben entlehnt. Dies kann wie folgt gemacht:
User-agent: Googlebot-Image
Allow: /
Schließlich können robots.txt verwendet werden, um Bots bestimmte Seiten, mit der Inhalte zur Verfügung stellen können auf anderen Websites oder Seiten angezeigt werden können, auszuschließen. Es wird oft behauptet, dass Google Ihre Bewertung für die Anzeige von Duplicate Content zu bestrafen. Ich persönlich sehe das nicht als großes Problem und glauben, dass Duplicate Content kann tatsächlich helfen, Ihre Website Rating in einigen Fällen (mehr dazu an einem anderen Tag). Wie auch immer, um ein Bot den Zugriff auf eine bestimmte Seite zu stoppen, fügen Sie die folgenden Zeilen:
User-agent: *
Disallow: */my-duplicate-page.html
Beachten Sie, dass dies nicht eine todsichere Methode. Wenn Ihr aberkannt Seite wurde es von einer anderen Website Links, wird es noch durch die Bots gecrawlt werden.
Ich könnte weitermachen, aber ich bin sicher, Sie alle sind mittlerweile gelangweilt. Fühlen Sie sich frei unter Kommentar oder kontaktieren Sie mich direkt an, wenn Sie mehr wissen wollen.
Glückliche Roboting.
