|
С ужесточением требований Гугла к качеству страниц, все больше вебмастеров стараются влиять на индексацию сайта, удаляя из индекса низко качественные страницы. При этом, считается, что для удаления страницы из индекса оптимальным решением будет перекрыть путь поисковым роботам. К сожалению это не всегда достаточно. Рассмотрим несколько типичных ошибок, которые совершают вебмастера, пытаясь исключить страницы из индекса.
Пример: обзоры товаров.
Представьте, что у вас есть крупный интернет магазин с 1000 уникальных страниц с товарами. Они выглядят примерно так:
Каждой странице соответствует свой URL, которые структурированы следующим образом:
http://www.example.com/product/1
http://www.example.com/product/2
http://www.example.com/product/3
http://www.example.com/product/1000
Каждая из этих страниц ссылается на страницу с описанием товара. Вот так:
При этом, каждая страница с описанием так же имеет свой, уникальный URL (привязанный к ID товара).
http://www.example.com/review/1
http://www.example.com/review/2
http://www.example.com/review/3
http://www.example.com/review/1000
Таким образом, у нас получилось 1000 дублированных страниц, т.к. каждая страница с обзором представляет собой лишь форму с дублированным контентом. Такие страницы не представляют никакой поисковой ценности и вы принимаете решение исключить их из индекса...
Первая попытка.
Для этого вы используете тэг META NOINDEX (Meta Robots). Дополнительно вы делаете ссылки на обзоры продуктов nofollow. Примерно вот так:
На первый взгляд все логично. Но возникает проблема — обратите внимание на красные стрелочки на картинке, они закрыли пути, которые блокируют доступ поисковым ботам. Получится, что поисковые боты не доберутся до страниц с обзорами, не прочитают NOINDEX и не исключат их из индексации. Либо, в лучшем случае, не маленький процесс деиндексации на крупных сайтах, затянется еще больше.Поэтому я предпочитаю другой способ.
Вторая попытка.
Вместо этого, оставим этот путь открытым. В этом случае, поисковые боты будут беспрепятственно индексировать дублированные страницы, а их URLы будут постепенно исчезать.
Имейте ввиду, что этот процесс может занять не одну неделю. Ежедневно проверяйте свой индекс и вы заметите постепенное снижение. Небольшой совет: иногда этот показатель может колебаться, поэтому нужно смотреть на общую тенденцию.
Новые сайты & старые.
Эта проблема может возникнуть только на старых сайтах, где дублированные URLы уже проиндексированы. Если же вы только разрабатываете новый сайт, лучшим решением будет заключить ссылки с обзоров в «nofollow». Вы так же можете использовать тэг «nofollow» посте того, как ненужные URL ы будут деиндексированы. Главное здесь не спешить и дать поисковым ботам выполнить их работу.
301, Rel-canonical и т.д.
Хотя, в своих примерах я использовал nofollow и META NOINDEX для удаления из индекса, все вышесказанное относится и к другим способам (включая полное удаление), таким как 301 редирект и тэги canonical (rel-canonical). Что бы распознать эти сигналы, Гуглу надо попасть на содержащие их страницы. Если этого не произойдет, поисковые боты не сделают то, что от них требуется.
Не торопитесь.
Ваше желание поскорее решить проблему вполне естественно, особенно если вам угрожает потеря трафика и как следствие потеря дохода. Старайтесь правильно распределить время. Если вы перекроете пути быстрее, чем поисковые боты смогут по ним пройти и распознать сигналы или будете использовать все известные вам способы (NOINDEX + 301 + canonical + ?), вы приобретете гораздо больше проблем. Выберите один способ и дождитесь пока он сработает.
Примечание: в комментах несколько пользователей добавили, что можно использовать карту сайта XML для ускорения повторной проверки страниц без внутренних ссылок. Честно говоря, я забыл про этот способ. Действительно, карта сайта XML с nofollow или удаленными URL может ускорить процесс. Это особенно важно, когда невозможно возвратить URL на место, например, при тотальном редизайне.
Оригинал статьи на английском языке: http://www.seomoz.org/blog/logic-meet-google-crawling-to-deindex |
|
|
|
|
