|
На страницу 1, 2 След. |
|
|
|
В своих советах Мэт Катс говорил, что нужно запретить индексировать поисковикам папку wp-admin в блогах ВордПресса, с помощью файла robots.txt.
Понятно, что при этом снижается количество работы роботов на сайте, увеличивается скорость индексации и это очевидно представляет интерес для поисковиков.
Но происходит ли при этом улучшение индексируемости полезной информации на сайте? То есть что получает сайт, если запретить индексацию бесполезных страниц?
Кто какого мнения по поводу запрета на индексацию папки wp-admin?
Может есть смысл запретить индексацию на блоге некоторых других папок? |
|
|
|
|
|
vold,
| Цитата: |
| Понятно, что при этом снижается количество работы роботов на сайте, увеличивается скорость индексации и это очевидно представляет интерес для поисковиков.
|
Ага, просто непомерно снижается. Файлов этак 5 не надо индексировать ))
Ничего сайт не получает, а на эту папку надо ставить пароль вообще, а не в robots.txt ее закрывать.
Имеет смысл запретить к индексации или запаролить всё, что не должно быть видно обычным серферам (в т.ч. служебно-системные папки) |
|
|
|
|
|
| Это можно и нужно делать для любых служебных/админских страниц, но никакого преимущества это ни в чем не дает. |
|
|
|
|
|
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/ |
|
|
|
|
|
Taburetkin,
Думаю хватит такого 
User-agent: *
Disallow: wp-
Disallow: feed
Disallow: trackback |
|
|
|
|
|
Chin,
в твоем случае не хватает / в начале (неправильный синтаксис)
например /feed
но в этом случае он запретит /feed, но проиндексирует /blah/feed
Disallow: /*/feed/$
*/ любя папка до
$ все файлы после |
|
|
|
|
|
Насколько я понимаю синтаксис robots.txt - мой вариант запретит индексацию всего, что содержит указанную часть строк
А вот $ я вообще не припомню. Надо сходить почитать  |
|
|
|
|
|
Chin,
твой пример имеет не правильный синтаксис. Всегда нужен / в начале.
Disallow: /wp-
Disallow: /feed
Disallow: /trackback |
|
|
|
|
|
|
|
|
|
| Да все верно, У меня в первом посте как раз по ботам и разнесено. |
|
|
|
|
|
Taburetkin, мне все равно не понятно, зачем
Уж если совсем "оптимизировать", по моему так красивше:
User-agent: *
Disallow: wp-
Disallow: feed
Disallow: trackback
Синтаксис всё-таки не нарушается. Ну или можно слеш в начале поставить, те же яица, но вид с боку.
Делать этот robots.txt должен то же, что и твой (если слеши не ставить - то абсолютно точно то же, что и твой) |
|
|
|
|
|
Chin,
Ну можно еще Яху и МСН туда всунуть.
Но я не хочу всем роботам feed, trakback запрещать. В этом-то все и дело. Есть куча ботов тянут фиды и иногда дают дополнительные линки |
|
|
|
|
|
Taburetkin, зачем туда яху и мсн всовывать?
Вот если не всем ботам хочешь запрещать - дело другое, еще есть смысл. Но тогда можно просто указать те, которым запретить хочешь Минимализм рулит кмк |
|
|
|
|
|
| Цитата: |
Disallow: feed
Disallow: trackback
|
Если я статью про трекбеки или фиды напишу, то её не проиндексирует, так что вариант Табуреткина лучше. |
|
|
|
|
|
|
