iRobots.txt SEO
Завантажити останню версію: 1.1.2 (оновлення 13 червня 2010)
Можливості | Скріншоти | Завантажити | Конфігурація | FAQ | Коментарі | Демо
Версія 1.1 тепер випустили! Ця версія має кілька поліпшень в порівнянні з останнім релізом. Найбільш помітним є можливість безпосередньо редагувати файл robots.txt. Для отримання повного списку інших поліпшень, будь ласка, зверніться до розділу змін нижче.
Будь ласка, допоможіть! Допомога в тлумаченні або просто пропонуючи нові можливості, буде прийнята з вдячністю. Вся допомога буде визнана на сторінці налаштувань на засланні на ваш сайт. Будь ласка, зареєструйте свою зацікавленість через Зв'язатися зі мною сторінки чи коментар нижче. Спасибо.
Якщо ви знайшли плагін корисним, будь ласка, проголосуйте за нього тут .
Особливості
iRobots.txt SEO (IRSEO) являє собою повністю настроюваний генератор robots.txt віртуальних файлів. IRSEO створює високо оптимізований та безпечний файл robots.txt прямо з коробки. Користувачі можуть вибрати, щоб включити або відключити конкретні агенти користувачів, каталоги або файли, використовуючи інтуїтивно зрозумілі параметри кожен з яких включає в себе докладні інструкції.
Файл robots.txt являє собою текстовий файл, розташований в кореневому каталозі сайту. Його мета полягає в керівництві користувача агентів (AKA ботів) від або до певних файлів і каталогів. Інгібування бот індексувати певні сторінки будуть забезпечувати ваш сайт залишається ключовим словами оптимізований і всі проіндексовані сторінки мають відношення до ваших потенційним клієнтам.
IRSEO також інгібує деякі системи WordPress каталогів і файлів за умовчанням. Це гарантує, що пошукові роботи не включають в себе безпеку чутливих сторінок в результатах пошуку. Наприклад, пошук по inurl: WP-зміст ім'я розмір опис в Google, ви побачите список сайтів з індексованої і відкриті папки з файлами.
Зверніть увагу, що IRSEO створює віртуальний файл robots.txt. Цей файл robots.txt відображається всякий раз, коли доступ до файлу robots.txt запитується.
Завантажити
Остання версія: 1.1.2
Потрібно, як мінімум: WordPress 2.7
Випробувано до 2.9.2
Плагін може альтернативно бути завантажені з репозиторію плагінів WordPress .
Ви можете використовувати плагін в терміни, встановлені ліцензією GPL .
Приклад файлу robots.txt
| 1 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 2 | # IRobots.txt SEO |
| 3 | |
| 4 | # Google Image |
| 5 | User-agent: Googlebot-Image |
| 6 | Allow: / |
| 7 | Disallow: |
| 8 | |
| 9 | # Google Adsense |
| 10 | User-Agent: Mediapartners-Google * |
| 11 | Allow: / |
| 12 | Disallow: |
| 13 | |
| 14 | # Інтернет архіватор Wayback Machine |
| 15 | User-Agent: * ia_archiver |
| 16 | Allow: / |
| 17 | Disallow: |
| 18 | |
| 19 | # Digg Mirror |
| 20 | User-Agent: duggmirror |
| 21 | Disallow: / |
| 22 | |
| 23 | # Всі боти |
| 24 | User-Agent: * |
| 25 | Disallow: / CGI-BIN |
| 26 | Disallow: / wp-admin / |
| 27 | Disallow: / wp-includes / |
| 28 | Disallow: / WP-зміст / |
| 29 | Disallow: / пошук / * / корми |
| 30 | Disallow: / пошук / * / * |
| 31 | Disallow: / *? |
| 32 | Disallow: / *? |
| 33 | Disallow: / readme.html |
| 34 | Disallow: / license.txt |
| 35 | Disallow: / * PHP $. |
| 36 | Disallow: / * JS $. |
| 37 | Disallow:. / * Увімкнути $ |
| 38 | Disallow: / * CSS $. |
| 39 | Disallow:. / * GZ $ |
| 40 | Disallow:. / * WMV $ |
| 41 | Disallow: / * CGI $. |
| 42 | Disallow: / * XHTML $. |
| 43 | Allow: / wp-content/uploads / |
| 44 | Дозвольте: / * сторінка = * |
| 45 | |
| 46 | # Карта сайту |
| 47 | Карта сайту: http://markbeljaars.com/sitemap.xml.gz |
| 48 | |
| 49 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 50 | # |
| 51 | # Robots.txt файл, створений iRobots.txt SEO v1.0 |
| 52 | # Марк Beljaars |
| 53 | # |
| 54 | # ____ | | __ |. ________ |
| 55 | # | | | (_ | | | <| _) (/ _ | | (_ | (_ | | _ \ (_ (_). | | | |
| 56 | # _ | |
| 57 | # Http :/ / markbeljaars.com / plugins / irobotstxt-seo |
| 58 | # |
| 59 | # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # # |
| 60 | # |
| 61 | # Зверніть увагу: |
| 62 | # Дозволити директиви і маски (*) в імена файлів |
| 63 | # Не стандартний синтаксис robots.txt, проте вони |
| 64 | # Підтримує більшість нових пошукових систем. |
Установка
- Завантажити плагін http://markbeljaars.com/download/current/plugins/irobotstxt-seo.zip .
- Витяг і завантажити плагін до
/wp-content/plugins/каталогу й активувати його - Зміна параметрів за допомогою плагіна адміністратор сторінки знаходиться під
Settings.
Скріншоти
Сторінка конфігурації
Конфігурація
Загальні параметри- Використовуйте суворе визначення стандартного файлу robots.txt: Офіційний визначення robots.txt зокрема визначає, які каталоги або файли, пошукова система може не індексувати і не містить директиви для деталізації, які файли пошукової системи можуть індексувати. Google розширив визначення включає
allowдирективи, а також дозволяє використовувати спеціальні символи в іменах файлів. Хоча офіційно не підтримується, ammended стандарт розуміється більшістю пошукових систем. - Автоматичне додавання сайту в сайт файл robots.txt: Sitemaps інформувати пошукові системи структури сайту, а також дозволяє оцінити, як часто Ваші сторінки не зміниться. Очевидно, що пошукові системи знайти таку інформацію корисно. Протокол карта сайту визначається тут . Sitemaps може бути автоматично проводиться за допомогою плагінів WordPress, таких як Google XML Sitemaps генератор .
- Заборонити індексацію папки WordPress системи: WordPress системних папок, таких як плагін і каталоги з вмістом не ключовим словами оптимізований і тому не повинні бути проіндексовані пошуковою системою. Крім того, папки індексація може становити загрозу безпеці.
- Не допускати дублювання контенту: WordPress є багато способів відображення тієї ж посади, в тому числі по тегам, за категоріями або по автору. Мабуть, компанії Google у вигляді кількох сторінок з однаковим змістом. Вона обговорюється, що Google не любить сайти з великою кількістю дублікатів контенту, але з іншого боку, він також обговорюється, що Google любить сайти з великою кількістю сторінок. Використовуйте цю опцію, щоб пригнічувати або дозволяти деякі однакові за змістом.
- Дозволити Google Adsense для доступу всього сайту: Google Adsense автоматично визначає, які об'яви мають відношення до вашої аудиторії шляхом сканування вмісту вашого сайту. Надання Adsense повний доступ до сайту може привести до більш цілеспрямованої реклами. Ігнорувати цю опцію, якщо ви не реалізований Adsense.
- Заборона індексації Internet Archive: Internet Archive є не некомерційна організація з метою архівувати всю інформацію в мережі Інтернет на регулярній основі. Він припустив, що Google використовує Internet Archive, щоб визначити вік веб-сайту для надання допомоги у визначенні сайту \ авторитет. Деякі SEO фахівці рекомендують, що Internet Archive бути відключений від індексації молодого сайту. Internet Archive також піднімає питання контролю документів (старі версії вашого повідомлення може бути архів), прав інтелектуальної власності та конфіденційності.
- Заборона індексування зображень: Ви можете перешкоджати пошуковим системам індексувати зображення, якщо ваші зображення захищені авторським правом, були отримані сумнівним (вони порушують авторське право), які не пов'язані з вашого сайту, або, ймовірно, не для генерації трафіку. Партнерська маркетологи можуть також виявити, що зображення можуть генерувати трафік нецільового впливаючи таким чином на сайт \ 'и коефіцієнт конверсії.
- Заборона індексації Dugg Mirror: Duggmirror забезпечує дзеркало для найбільш популярних новин на Digg.com. Сайти часто перевантажені обсяг трафіку Digg посилає їх шляху, в результаті чого веб-сторінки стають недоступними. Для усунення так званого "Digg ефект" Duggmirror проводить дзеркало з найпопулярніших історій роблячи їх доступними для користувачів Digg. Проблема в тому, що Google може проіндексувати сторінку DuggMirror до джерела і рухом INTURN їзди від вашого сайту до дзеркала.
Розширена настройка
Користувальницькі звіти можуть бути додані або видалені з файлу robots.txt, використовуючи цю форму. Повний список агентів користувачів можна знайти на http://www.user-agents.org/ ~ ~ V . Приклади robot.txt рядка директиву (текст, який йде після дозволити або заборонити директиви) можна знайти на http://www.robotstxt.org/robotstxt.html . Google \ 'и неофіційного розширення докладно описані в цьому блозі . Зверніть увагу, що всі директиви дозволяють облік і директиви рядків у тому числі шаблону підстановки буде проігнорована, якщо використання строгого визначення стандартного файлу robots.txt вибраний.
Перегляд Robots.txt
Перегляд і редагування повний віртуальний файл robots.txt.
- Включення вільній формі редагування: дозволяє ручне редагування файлу robots.txt. Обережність необхідна, як погано сформований файл robots.txt може серйозно вплинути рейтингу в пошукових системах. Зверніть увагу, що як тільки вільна форма редагування включена, зміна загального і розширені настройки конфігурації пригнічується. Крім того, при вільній формі відключена, будь-які ручні зміни у файлі robots.txt, будуть втрачені.
Часті питання
Хіба iRobots.txt SEO створювати або змінювати будь-які файли?
Ні, файл robots.txt serverd по IRSEO є віртуальним тільки. Ваш сайт буде залишатися без змін тільки плагін буде видалено.
Де я можу дізнатися більше про robots.txt?
На офіційному сайті інформація є robots.txt http://www.robotstxt.org/ ~ ~ V . Google robots.txt розширення описані тут .
Чи можу я звільнити редагувати файл robots.txt?
Так. В меню "Вид Robots.txt" адмін-панелі настройки, виберіть "Включити вільній формі редагування" варіант. Тепер ви зможете безпосередньо змінювати файл robots.txt, в межах цієї області.
Історія змін
1.1.2- Додати білоруський переклад Марціс G . Спасибі Марціс.
- Виправлена помилка, закриття файлу у функції irseo_file_exists, що викликало помилку на деяких блогах.
- Додана опція, щоб фільтрувати або однакові за змістом.
- Тепер можна безкоштовно редагувати файл robots.txt з адмін-панелі плагіна.
- Файл robots.txt тепер служив, якщо URL містить або не містить "WWW" префікс. URL порівняння в даний час також чутливі до регістру.
- Додано "sitemap.xml.gz до роботів, щоб всі секції.
- XML Sitemap плагін попередження тепер прихований, якщо віртуальний файл robots.txt подається правильно.
- Код PHP в даний час повністю прокоментовано.
- Додано Nonce та адміністратора перевірити, всі панелі адміністрування зміни налаштувань (в цілях безпеки).
- Приміщення всі параметри в один асоціативний масив, в результаті чого менше і легше слідувати код з меншою кількістю викликів варіант таблиці.
- Виправлена помилка, яка зупинила адміністратор завантаження сторінок на деяких системах.
- Додано посилання "Налаштування" в меню за допомогою плагіна код, наданий Джей .
- Дистанційні PHP5 stream_get_contents функції і замінити зворотну сумісність fgets як це було запропоновано Джей .
- Тепер виявляє presense з XML Sitemap Generator, і якщо існує після попередження, пояснюючи, що цей плагін також генерує віртуальний файл robots.txt. XML Sitempas має опцію для відключення robots.txt покоління файл. Знову ж таки, завдяки Джей цієї зворотного зв'язку.
- Виправлена визначає, імена функцій і i10n рядка конфліктує з TOCC плагін.
- Змінений адміністратора заголовки розділі настройки розширити розділ, якщо натиснута в будь-якому місці заголовка.
- Первинне розміщення випуску.
Подяки
Я хотів би відзначити неоціненну допомогу пропонують наступні особи:
- Марціс Г. за надання файлів білоруський переклад.
Коментарі
Будь ласка, дайте мені знати, що ви думаєте. Залиште коментар, якщо у вас є прохання функції знайшли помилку або потрібна допомога. Ми запрошуємо всіх.
31 Відповідей на "iRobots.txt SEO"
Trackbacks / Pingbacks.
- - 06. Грудень, 2010
[...] На нас сьогодні. Те, що я буду розглядати сьогодні лист, який я для CF внутрішніх Shortcode посилання iRobots.txt і плагінів. Ці плагіна досить прямо вперед, тому є два тут [...]
- - 23. Травень 2010
[...] IRobots.txt SEO: це повністю настроюється генератор robots.txt віртуальних файлів. IRSEO створює високо оптимізований та безпечний файл robots.txt прямо з коробки. Користувачі можуть вибрати, щоб включити або відключити конкретні агенти користувачів, каталоги або файли, використовуючи інтуїтивно зрозумілі параметри кожен з яких включає в себе докладні інструкції. [...]
- - 05. Лютий 2010
[...] IRobots.txt SEO [...]
- - 29. Січень, 2010
Соціальні коментарі і аналітика на цей пост ...
Це повідомлення було згадано на щебетати по buildweb: iRobots.txt SEO - MarkBeljaars.com: 9 гру 2009 ... iRobots.txt SEO є повністю настроюється robots.txt вир .. http://bit.ly/8NVwso # SEO ...
- - 23. Грудень 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Грудень 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 13. Грудень 2009
[...] Recomiento probarlo. Качати iRobots.txt SEO. Compatir кон тус [...]
- - 13. Грудень 2009
[...] За допомогою інтуїтивно зрозумілого варіантів, кожен з яких включає в себе докладні інструкції. Завантажити та більш детальна інформація: iRobots.txt SEO - MarkBeljaars.com __________________ Пошта [...]
- - 12. Грудень 2009
[...] IRobots.txt SEO (IRSEO) [...]
- - 12. Грудень 2009
[...] Wenn Du нейтронів ієрархи BIST, möchtest Du vielleicht unseren RSS потік abonnieren.Powered на WP Вітайте BoxiRobots.txt SEO тло Марк Beljaars IST Ейн віртуальних robots.txt Datei Творця. Особливості Zu ден-де-Плагіни для WordPress [...]
- - 11. Грудень 2009
[...] SEO 11. Dezember 2009 | Автор: ХК iRobots.txt SEO В.О. Марк Beljaars IST Ейн virtial robots.txt Datei Творця. Zu ден Особливості gehören унтер [...]
- - 09. Грудень 2009
[...] Більше: iRobots.txt SEO - MarkBeljaars.com Comments0 Залишити коментар Натисніть тут, щоб скасувати [...]
- - 09. Грудень 2009
[...] Повна інформація про плагіні можна знайти на http://markbeljaars.com/plugins/irobotstxt-seo/ . [...]
Привіт я трохи заплутався, про те, як iRobots.txt SEO працює, коли Google XML Sitemaps плагін встановлений.
У випадку, якщо плагін iRobots бути встановлені після того, як Google XML Sitemaps плагін для того, щоб плагін Sitemap, щоб бути виявлені?
Чи є потенціал для конфлікту, який вимагає установки в одному з двох плагінів можна змінити? Якщо якісь параметри, в яких плагін?
Я був би вдячний за будь-які роз'яснення.
Спасибо
Привіт Нік,
Єдине, що Google XML Sitemaps робить це додати один рядок в кінець файлу robots.txt, який вказує на XML карти сайту. Якщо ви відключите XML карти сайту від дотику файл robots.txt (знявши "Додати URL сайту в віртуальний файл robots.txt." В XML-Sitemaps настройки), то iRobots автоматично додасть цей запис для вас, якщо він виявляє, що Google XML Sitemaps плагін встановлений.
Сподіваюся, що це допомагає,
Відзначити.
Привіт, у мене є плагін встановлений і mysite.com / robots.txt відображається нормально, але коли я натискаю на налаштуваннях плагіна, я отримую сторінку WordPress помилка, яка просто говорить: "У вас немає достатніх прав для доступу до цієї сторінки. "
Будь-які ідеї?
Привіт JoJo. Я nonces використовує в якості додаткової міри безпеки, щоб зупинити XSS-атак зміни у файлі robots.txt. Як швидко виправити, ви можете відредагувати файл плагіна PHP і видаліть наступний текст (здається, кілька разів протягом код) ...
Check_admin_referer && ('irseo зі зміною опції-Nonce)
Це відключить nonces. Я знаходжу це дуже дивним, хоча, як правило nonces добре працювати в WordPress. Будь ласка, дайте мені знати, якщо це "виправляє" вашу проблему.
Спасибі,
Відзначити.
Привіт я встановив ваш підключити і активувати його, але пошукові системи не повзати на своєму сайті будь-яку сторінку в чому проблема. Я використовую Google веб-майстра інструмент, який я додати мою карту сайту, але MSG здається, що ми обмежені robot.txt. плз, допоможіть мені. Моя посилання для роботів і карта сайту є
http://reviewaccounting.com/robots.txt
http://reviewaccounting.com/sitemap.xml.gz
плз скажіть мені, що робити
Я чекаю вашої відповіді
Вибачте за пізній відповідь. Akismet був відзначений ваше повідомлення як спам, у зв'язку з численними посиланнями і я тільки перевірити спам раз на тиждень або близько того, перш ніж видалити їх.
Я перевірив файл robots.txt і виглядає нормально. В інструментів вебмастера, при конфігурації сайту / сканеру доступ, виберіть тест для перевірки вашого сайту для агента користувача Googlebot. Я перевірив ваш точний файл robots.txt і він каже Googlebot дозволено сканувати цей сайт.
Якщо ви підозрюєте, що плагін викликає вас проблеми, деактивувати плагін і подивитися, чи є проблема все ще залишається. Цілком OK, щоб не мати файлу robots.txt, однак Google буде індексувати всі сторінки адміністратора і т.д.
Обмежений доступ також може бути викликано файлу. Htaccess.
Відзначити.
Привіт марки,
Я встановив ваш підключити, але не бачу його в будь-якому місці в джерелі.
Якщо я не бачу, це не означає, що вона не працює?
Привіт Наталі,
Чи можете ви пояснити це трохи більше? У вас є варіанти iRobots.txt в адмін панель налаштувань? Ви можете перевірити, чи є плагін працює, ввівши наступне в браузері:
http://yoururl/robots.txt
Наприклад, файл robots.txt, мій сайт знаходиться за адресою: http://markbeljaars.com/robots.txt .
Якщо файл robots.txt не існує, не може бути три можливих причини:
1. Плагін не вдалося встановити з деяких причин. Видалення попередньої версії, то спробуйте завантажити з мого сайту. Потім виберіть плагіни / додати нові з адмін-панелі і натисніть на посилання завантаження. Завантажте архів і активувати.
2. Ваша тема перевизначення віртуальних запитів файлів.
3. Ваш. Htaccess файл блокує файл robots.txt.
Відзначити.
Марка,
Я тільки що встановив плагін, і я отримую наступне повідомлення про помилку.
Попередження: fclose (): поставляється аргумент не є допустимим потік ресурсів в / Library / WebServer / Documents / ххххххх / WP-зміст / плагіни / irobotstxt-SEO / irobotstxt-seo.php на лінії 322
Запуск WP 2.9.1. Будь-які ідеї?
Енді
Привіт Енді,
Я не бачив цієї помилки раніше. Яку версію PHP ви використовуєте? Якщо ви щасливі редагування PHP файлів, ви можете просто видалити цей рядок і плагін повинен почати працювати (в PHP, файли автоматично закриваються, якщо програміст забуває закрити їх). У будь-якому випадку, я буду виправити код сьогодні (австралійський часу) і завантажити нову версію.
Відзначити.
Привіт Енді,
Я тільки що випустили оновлення, яке виправляє цю помилку і додає нову опцію, щоб заборонити подвійне зміст. Сподіваюся, він добре працює для вас.
Відзначити.
Привіт, у мене є одне питання, коли я використовую ваш плагін і створити файл robots.txt, не вашого плагіна завантажте його в каталог веб-сайтів, або мені потрібно, щоб скопіювати файл і завантажити його через http://FTP. .
Спасибі, кращі robots.txt плагін до сих пір.
Привіт Jadah,
Файл robots.txt насправді є віртуальним файлом. Плагін визначає, коли хтось (або somebot) намагається відобразити http://www.website/robots.txt файлів і перехоплює запит. Плагін, то замість виведення текстового потоку, що робить його схожим на файл відправляється. Таким чином, там notihing вам потрібно завантажити. Крім того, будь-які зміни в файл robots.txt, які immidiately відбивається. Існує одна заковика за допомогою цього методу, хоча. Якщо фізичний файл robots.txt існує (тобто той, який ви завантажені FTP), то це завжди буде відображатися замість віртуального файлу. Це означає, що вам потрібно видалити (або перейменувати) будь-які фізичні файли robots.txt, щоб використовувати цей плагін.
Сподіваюся, що це допомагає,
Відзначити.
У мене є одне питання. Я помітив, що мій акаунт Google Webmaster Tools, що Google не може отримати доступ до "sitemap.xml.gz" файл, як він обмежений файл robots.txt genrated вашим плагіном. (Мої карти сайту генеруються "Google XML Sitemaps" плагін і "Додати сайту у віртуальній robots.txt" не відзначений, як ви вказуєте).
Перевірка тексту створений файл robots.txt, в ньому перераховані розташування карта сайту як "just-thinkin.net/sitemap.xml.gz" (у мене як "sitemap.xml" і "sitemap.xml.gz" в моєму кореневої каталог) але він блокує доступ до цього дуже Карта на запис «Disallow:. / * GZ $".
Хоча Google може отримати доступ до свого "sitemap.xml" файл нормально, я до сих пір плутають, чому карта розташування, перераховані в створений файл robots.txt навмисно заблокували всі боти в той же час. Чи є це насправді, як все має працювати? Google завжди був доступ до як карти сайта при використанні мого старого robots.txt експлуатації (стара була проблема з терміном дії, що я ніколи не міг відстежити).
Спасибі за прекрасний плагін до речі.
Привіт Кірк. Велика робота детектива! Ви, звичайно, абсолютно правильно. Заборонити чи зупинити будь-кого. GZ файли з сканування. Причина. GZ файли, як правило, заборонені є забезпечення резервного копіювання файлів (GZ є розширенням для стислих файлів) не індексуються. Я буду виправляти цей конфлікт в наступному випуску. Це повинно бути пов'язано в менш ніж через тиждень і дасть можливість у вільній формі редагування результуючого файлу robots.txt.
Тим часом, ви можете виправити це, відкривши iRobots SEO параметрів сторінки і вибравши пункт "Додаткові налаштування". В текстовому полі Агент користувача введіть "*". Виберіть "Дозволити" в випадаючому і введіть "/ sitemap.xml.gz" в текстове поле поряд з пулдаун. Нарешті натисніть кнопку "Add Custom Record" кнопка.
При перегляді отриманого файлу robots.txt, ви повинні побачити два рядки наступним чином:
# Custom RecordsUser-agent: *
Allow: /sitemap.xml.gz
Сподіваюся, що це допомагає.
Гарні угоди і подяку за роботу над новим релізом. Я додав користувальницькі записи. Працює відмінно.
я підтримую Вас, кращий, якщо він може дозволити вільне редагування ..
Добре Sevi ідея. Буде безкоштовно додати редагування наступному випуску.
Відзначити.