Этот пост длинный, но важная. Я рекомендую вам взять чашку горячего шоколада перед началом 
Если вы еще не слышали о файле robots.txt, это просто небольшой файл, расположенный в корневом каталоге веб-сайт, который указывает поисковым системам о том, что они могут и не может сделать. Хотя это и не строго соблюдаются, поисковых ботов, как правило соблюдать правила, установленные вперед в файле robots.txt. При правильной настройке файл robots.txt можно, например, попытки парировать спам-ботов, скажите Google не индексировать изображения или поручить ботов пропустить страницы, которые могут содержать одинаковые по содержанию.
Поисковые системы являются частями программного обеспечения, используемого поисковой системой компании, спамеры и содержание аккумуляторов сканировать Интернет, чтобы найти новый или измененный контент. Работы бота в том, чтобы следовать по ссылкам на веб-сайте ползают от страницы к странице и сайта к сайту. Это вроде как Six Degrees вещи Бэкон Кевин. Следуйте достаточно связей, и вы должны в конечном итоге найти весь контент в сети. Именно поэтому обратные так важны. Больше обратных ссылок, тем легче для поисковых систем, чтобы найти содержание. Существуют буквально миллионы случаев траления бот сети на любой момент времени. Официальный срок бот User-Agent которого есть тысячи. Возьмем, например Google. Google имеет много различных пользовательских агентов, используемых для индексации вашего сайта, извлекать изображения и видео, найти новостные ленты, поиск мобильного контента, проверьте ваш сайт по качеству Adsense и так далее. Этот сайт подробно полный список известных агентов-пользователей.
Файл robots.txt была вокруг в течение веков. Он был на самом деле введен AltaVista в 1994 году, но теперь остается основным продуктом питания для веб-пауков. Полное описание файла и его стандартное обозначение, посетите здесь . Короче говоря, файл robots.txt можно ограничить конкретным ботам сканировать весь сайт или его части. Чтобы сделать это, все боты имеют специальную подпись. Например, индекс бот Google называется Google, Bing бот называется MSNbot и бот Yahoo называется Yahoo! Slurp.
Запись в файл robots.txt может выглядеть следующим образом:
User-Agent: Yahoo! Slurp
Allow: /public*/
Disallow: /*_print*.html
Здесь мы говорим агенту Slurp пользователя, он может получить доступ ко всем страницам находится в любом каталоге, начинающиеся с "общественностью", и не имеют доступа к страницам с "_print" в URI.
Ниже приведен полный файл robots.txt для одного из моих экспериментальных сайтов WordPress (я отправлю статью объяснить, что я имею в виду экспериментального участка в другой день). Внимательные читатели могут заметить, что я запретом агентам пользователей из определенных каталогов, а лишь позволяет некоторым конкретным агентам пользователей доступ к остальным областям моем сайте. Недавнее обновление стандарт также позволяет мне перечислить места моей карте сайта, чтобы помочь поисковым системам найти все мои страницы.
User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /search/*/feed
Disallow: /search/*/*
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
User-agent: Mediapartners-Google
Allow: /
User-agent: Adsbot-Google
Allow: /
User-agent: Googlebot-Image
Allow: /
User-agent: Googlebot-Mobile
Allow: /
Sitemap: http://beginnerchess.org/sitemap.xml
Запрет ботам доступ к контенту, не предназначенных для потребления будет гарантировать, что Ваш сайт будет оставаться ключевым словам оптимизированный на всех страницах, тем самым помогая продвижению вашего сайта в поисковиках. Скажем, например, вы работали на оптимизацию всех страниц по ключевому слову "веса" и различные длинные хвосты. Ваша работа может быть отфильтрован вниз в глазах поисковой системы, если она сможет сканировать страницу входа, конфиденциальность страницы и контактную форму.
Некоторые SEO специалисты также утверждают, что Google наказывает молодых сайтов в пользу более старших установленных местах. Google по-видимому использует Internet Archive (находится здесь ), чтобы определить возраст сайта. Если он не может найти место в архиве, он, очевидно, предполагает, что сайт определенного возраста. По этой причине, многие люди активно остановить Internet Archive User-Agent индексировать их сайт. Это можно сделать, в том числе следующие строки:
User-agent: ia_archiver-web.archive.org
Disallow: /
Вы можете также остановить изображение ботам доступ к вашей фотографии, если они заняли неакционерных изображений с других сайтов. Это можно сделать следующим образом:
User-agent: Googlebot-Image
Allow: /
Наконец, robots.txt можно использовать, чтобы исключить ботам конкретных страниц, которые могут быть использованы для отображения страницы, которые могут быть доступны на других сайтах или страницах. Часто утверждают, что Google будет наказывать своих рейтингов для отображения дублированный контент. Лично я не рассматриваю это как большую проблему и считаем, что дублированный контент может реально помочь рейтинг вашего сайта в некоторых случаях (подробнее об этом в другой день). В любом случае, чтобы остановить бота доступ на определенную страницу, добавьте следующие строки:
User-agent: *
Disallow: */my-duplicate-page.html
Отметим, что это не верный метод. Если запрещено странице ссылки на него с другого сайта, она все равно будет сканироваться ботов.
Я мог бы продолжать, но я уверен, вы все надоели уже. Не стесняйтесь комментировать ниже или связаться со мной напрямую, если вы хотите узнать больше.
Счастливые roboting.
