הודעה זו היא ארוכה, אבל חשוב. אני ממליץ לך לתפוס כוס שוקו חם לפני תחילת שלך 
אם לא שמעתם על קובץ robots.txt, זה פשוט קובץ קטן נמצא בספרייה שלך השורש אתר המורה מנועי החיפוש על מה הם יכולים ולא יכולים לעשות. אם כי לא נאכף בקפדנות, מנוע החיפוש בוטים בדרך כלל לכבד את הכללים שנקבעו קדימה בקובץ robots.txt. עם קובץ robots.txt מוגדרת כראוי אתה יכול, למשל, בניסיון להדוף מדואר זבל, אומר שגוגל לא מדד את התמונות שלך או להורות בוטים לדלג על עמודים שעשויות להכיל תוכן משוכפל.
הרובוטים הם פיסות תוכנה המשמשים את מנוע החיפוש חברות, שולחי דואר זבל ומצברים תוכן לסרוק את האינטרנט כדי למצוא תוכן חדש או שונה. עבודה של בוט הוא לעקוב אחר קישורים באתר זחילה מדף לדף ואתר לאתר. זה קצת כמו מספר שש דרגות של קווין בייקון דבר. לעקוב אחר קישורים מספיק ואתה צריך בסופו של דבר למצוא את כל תוכן ברשת. זו הסיבה מדוע הם נכנסים כל כך חשוב. את הקישורים הנכנסים שיש לך יותר, כך קל יותר עבור מנועי חיפוש כדי למצוא את התוכן שלך. יש ממש מיליוני מקרים בוט הפרושה נקי בכל זמן נתון. המונח הרשמי בוט הוא User-agent אחד מהם יש אלפים. בואו לקחת גוגל למשל. לגוגל יש רבים שונים המשמשים סוכני המשתמש לאתר את האצבע, לחלץ תמונות וקטעי וידאו, אתר חדשות, אתר תוכן סלולרי, לבדוק את האתר שלך לאיכות אדסנס וכן הלאה. זה אתר פרטי רשימה מלאה של המשתמש סוכני ידועים.
קובץ robots.txt קיימת כבר המון זמן. זה הוצג למעשה על ידי AltaVista בשנת 1994, אבל עכשיו נשאר מזון בסיסי עבור עכבישים אינטרנט. לקבלת תיאור מלא של הקובץ ואת הכיתוב הסטנדרטי שלה, בקר כאן . בקיצור, קובץ robots.txt יכול להגביל בוטים ספציפיים שיסרקו את האתר כולו או חלקו. לשם כך, יש בוטים כל חתימה מיוחדת. לדוגמה, בוט אינדקס של גוגל נקרא Googlebot, בוט של בינג נקרא MSNbot, ו בוט של יאהו נקרא Yahoo! Slurp.
ערך בקובץ Robots.txt עשוי להיראות כך:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
כאן אנו אומרים סוכן המשתמש Slurp שהוא יכול לגשת כל הדפים המצויים בספרייה כלשהי החל "הציבור", ואין להם גישה לדפים עם "_ הדפס" ב URI.
להלן קובץ robots.txt המלא ל באחד מאתרי הניסוי שלי וורדפרס (אני מתכוון לכתוב מאמר המסביר למה אני מתכוון ידי אתר ניסיוני עוד יום). קוראים נבונים יכול לציין כי אני שטענת נגד החוקיות כל סוכני המשתמש של ספריות ספציפיות, ורק לאפשר כמה סוכני משתמש ספציפיות גישה יתרת השטחים באתר שלי. העדכון האחרון לסטנדרט גם מאפשר לי לרשום את המיקום של המפה באתר שלי כדי לעזור למנועי החיפוש למצוא את כל הדפים שלי.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
שטענת נגד החוקיות בוטים מגישה לתוכן לא נועד לצריכה יבטיח שהאתר שלך יישאר מילת מפתח מותאם על כל הדפים, ובכך לעזור לקדם את האתר שלך בתוך בדירוג מנועי החיפוש. אומרים למשל שעבדת קשה אופטימיזציה עבור כל הדפים "עלייה במשקל" מילות מפתח זנבות ארוכים שונים. העבודה שלך ניתן לסנן את בעיני מנוע החיפוש אם זה היה מסוגל לסרוק דף הכניסה שלך, דף פרטיות טופס יצירת קשר.
כמה מומחי SEO גם טוענים כי גוגל מעניש אתרים צעירים לטובת אתרי מבוססות יותר מבוגרים. מסתבר שגוגל משתמשת ארכיון האינטרנט (נמצא כאן ) כדי לקבוע את גילו של האתר. אם הוא לא יכול למצוא את האתר בארכיון, זה כנראה מבוסס על ההנחה האתר לגיל מסוים. מסיבה זו, אנשים רבים באופן פעיל לעצור את ארכיון האינטרנט User-agent של אינדקס האתר שלהם. ניתן לעשות זאת על ידי הוספת השורות הבאות:
User-agent: ia_archiver-web.archive.org
Disallow: /
אולי כדאי גם לעצור בוטים התמונה הגישה את התמונות שלך אם הם בהשאלה ללא מניות תמונות מאתרים אחרים. ניתן לעשות זאת כך:
User-agent: Googlebot-Image
Allow: /
לבסוף, robots.txt ניתן להשתמש כדי להוציא בוטים של דפים ספציפיים אשר ניתן להשתמש בהם כדי להציג תכנים יהיו זמינים באתרים או דפים אחרים. נטען פעמים רבות כי גוגל יעניש הדירוגים להצגת תוכן משוכפל. אני אישית לא רואה בזה בעיה גדולה ומאמינים כי תוכן כפול יכול ממש לעזור דירוג האתר שלך בכמה מקרים (נוסף על זה ביום אחר). בכל מקרה, להפסיק בוט גישה לדף מסוים, הוסף את השורות הבאות:
User-agent: *
Disallow: */my-duplicate-page.html
שים לב, זו אינה שיטה טיפש הוכחה. אם הדף אסורות שלך יש קישורים זה מאתר אחר, זה עדיין לסריקה על ידי הבוטים.
יכולתי להמשיך, אבל אני בטוח שאתה משועמם לגמרי עכשיו. אתם מוזמנים להגיב כאן או לפנות אלי ישירות אם תרצה לדעת יותר.
שמח roboting.
