這是一篇很長，但重要的一條。 我建議你搶一杯熱巧克力，你的啟動前 
如果你還沒有聽說過的 robots.txt文件，它只是一個小文件，位於您的網站的根目錄，指示他們可以什麼和不能做什麼搜索引擎。 雖然沒有嚴格執行，一般會尊重搜索引擎機器人在robots.txt文件中提出的規則。 例如，有了一個正確配置的robots.txt文件，您可以嘗試抵擋垃圾郵件機器人，告訴 Google不要索引你的圖像或指示機器人跳過頁面可能包含重複的內容。
機器人是由搜索引擎公司，垃圾郵件和內容蓄能的軟件，用來抓取互聯網尋找新的或修改的內容。 機器人的工作是按照爬行的網站從頁面到頁面和站點到站點上的鏈接。 這是一個六度凱文培根的事情一樣樣的。 按照足夠的鏈接，那麼您最終應該找到所有的淨含量。 這就是為什麼如此重要的反向。 你有越多的反向鏈接，就越容易找到你的內容對於搜索引擎。 有以百萬計的BOT拖網網在任何一個時間實例。 BOT官方術語，其中有成千上萬的用戶代理。 讓我們，例如谷歌。 谷歌有許多不同的用戶代理用來索引你的網站，圖像和視頻提取，發現新聞聯播，發現手機的內容，檢查您的網站，廣告質量等。 該網站詳細介紹了已知用戶代理的完整列表。
robots.txt文件中已經出現了年齡。 它實際上是在1994年由AltaVista的 ，但現在仍然是一個網絡蜘蛛的主食。 對於一個完整的文件和標準的符號說明，請訪問這裡。 總之，robots.txt文件可以限制特定的機器人爬行你的整個網站或部分。 要做到這一點，所有的機器人有一個特殊的簽名。 例如，谷歌的索引BOT被稱為 Googlebot，阿炳的BOT被稱為 MSNBot會，和雅虎的BOT被稱為雅虎思樂普。
在robots.txt文件中的條目可能看起來像這樣：
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
在這裡，我們告訴思樂普用戶的代理，它可以訪問在任何與“公”的起始目錄中的所有頁面，並沒有獲得“_print”URI中的網頁。
下面是一個完整的robots.txt文件，我的實驗的WordPress網站（我將發表一篇文章，解釋我試驗場意味著另一天）之一。 細心的讀者可能會注意到，我不允許從特定目錄的所有用戶代理，並且只允許一些特定的用戶代理訪問我的網站的其餘地區。 最近更新的標準也讓我列出我的站點地圖的位置，以幫助搜索引擎找到我所有的網頁。
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
不准從機器人的訪問不打算消費的內容，將確保您的網站將繼續在所有網頁上優化的關鍵字，從而有助於促進您的網站在搜索引擎中的排名。 例如，你一直在優化關鍵字“體重增加”和各種長長的尾巴的所有網頁硬說。 你的工作可能會被過濾搜索引擎的眼睛，如果它能夠抓取您的登錄頁面，隱私頁的聯繫方式。
一些SEO專家也認為，谷歌懲罰年輕的網站有利於老年人建立網站。 谷歌顯然使用互聯網檔案（ 在這裡找到）來判斷一個網站的年齡。 如果它不能找到歸檔的站點，它顯然假定該網站是某一年齡。 出於這個原因，許多人積極阻止他們的網站索引互聯網檔案館的用戶代理。 這可以包括以下幾行：
User-agent: ia_archiver-web.archive.org
Disallow: /
你可能想也停止訪問您的照片，如果他們有借用其他網站的非圖像的形象機器人。 這是可以做到像這樣：
User-agent: Googlebot-Image
Allow: /
最後，robots.txt的可用於排除機器人，可用於顯示其他網站或網頁上提供的內容可能的特定頁面。 它往往是說，谷歌將您的評級，顯示重複內容的懲罰。 我本人沒有看到作為一個大問題，這一點，相信重複的內容，實際上可以幫助您的網站在某些情況下，評級（更多的信息另一天）。 無論如何，阻止訪問特定頁面一個機器人，添加以下幾行：
User-agent: *
Disallow: */my-duplicate-page.html
請注意，這不是一個很簡單的方法。 如果您不允許從另一個網站頁面有鏈接到它，它仍然會被抓取的機器人。
我可以繼續下去，但我敢肯定，你現在很無聊。 隨意低於或評論，如果你想了解更多，請直接與我聯繫。
跑馬 roboting。
