|
|
|
|
|
Добрый день! Сегодня у меня возник скорее даже не вопрос а уточнение. Ещё на этапе создания блога на WordPress я не стал создавать стандартный файл robots.txt, как советуют многие веб-мастера а внедрил на страницы мета-тег robots, произведя следующие действия. В файл темы: functions.php, перед знакам <?php, вставил следующую функцию:
| Код: |
function Progress_meta_robots () {
if (is_archive() or is_category() or is_feed () or is_author() or is_date() or is_day() or is_month() or is_year() or is_tag() or is_tax() or is_attachment() or is_search())
{
echo "".'<meta name="robots" content="noindex,nofollow" />'."\n";
}
}
add_action('wp_head', 'Progress_meta_robots');
|
Сам же Robots.txt сделал такого вида:
User-agent: *
Allow: /wp-content/uploads
Disallow: /wp-
Host: http://abrek-ad-abra.ru
Sitemap: http://abrek-ad-abra.ru/sitemap.xml
И на начальном этапе всё радовало, но с наполнением блога контентом, появилась постраничная навигация которая, как оказалась не закрыта от индекса а значит создаёт дубли. Я так понимаю, что закрыты от индексации у меня следующие страницы:
is_category() — вывод страниц с категориями;
is_archive() — вывод любых архивов;
is_year() — вывод архивов по годам;
is_month() — вывод архивов по месяцам;
is_day() — вывод архивов по дням;
is_date() — вывод архивов по датам;
is_author() — вывод архивов по авторам;
is_tag() — вывод страниц с метками;
is_tax () — вывод таксономии произвольных типов записей;
is_attachment() — вывод страниц с прикрепленными файлами;
is_feed () — вывод страницы фида;
is_search() — вывод страниц внутреннего поиска.
И что-бы закрыть постраничную навигацию мне необходимо дописать к уже имеющимся следующую функцию: is_paged()? |
|
|
|
|
|
Здравствуйте!
Спешу написать ответ на свой-же вопрос!
После непродолжительных экспериментов, мои предположения подтвердились.
Добавив в указанный код дополнительную функцию: is_paged(), в исходном коде страниц с адресами: http://abrek-ad-abra.ru/page/2/ - abrek-ad-abra.ru/page/3/ - abrek-ad-abra.ru/page/4/ - abrek-ad-abra.ru/page/5/ итд, появилась строка: <meta name="robots" content="noindex,nofollow" />.
Думаю, что теперь попавшие в индекс дубли постепенно выпадут. |
|
|
|
|
|
Не проще просто в robots.txt добавить пути, которые не нужно индексить, вроде:
Disallow: /page/
Disallow: /category/
и т.д.
Лишний код это лишняя нагрузка на сервер. |
|
|
|
|
|
Из ходя из такого принципа, можно попросту запретить индексацию всех нежелательных страниц и файлов блога в стандартном файле Robots.txt.
Но дело в том, что лично из своих наблюдений я пришёл к выводу, что использование мета-тега robots, более эффективно в борьбе с так называемым (сопливым индексом) и к тому-же, данный мета-тег поисковый робот видит уже непосредственно после загрузки, при сканировании сайта, что даёт возможность дополнительно добавлять в поиск необходимую информацию или отдельные элементы. Закрыв-же страницу в файле Robots.txt, увидев запрет робот даже не станет её загружать. Спасибо! |
|
|
|
|
|
| Цитата: |
| мета-тега robots, более эффективно в борьбе с так называемым (сопливым индексом)
|
Тю. Бред. |
|
|
|
|
|
| Да вроде разницы нет, robots это просто просьба для поисковой системы не индексить, а индексят поисковые роботы или нет и учитывают ли такой контент, не понять. |
|
|
|
|
|
При использовании мета-тега, как показывает практика в поиск попадает только необходимая информация!
Из вопроса, какая функция отвечает за вывод мета-тега robots для страниц с навигацией, наша дискуссия переросла в настоящий спор! О том стоит ли вообще использовать данный метод.
Спасибо за ваше мнение и столь быстрые ответы, как я уже писал выше проблема решена с помощью добавления в код дополнительной функции: is_paged(). |
|
|
|
|
|
| the matrixx писал(а): |
| Цитата: |
| мета-тега robots, более эффективно в борьбе с так называемым (сопливым индексом)
|
Тю. Бред.
|
 |
|
|
|
|
|
|
|
|
