|
|
|
|
|
Сделал новый сайт на Drupal. В индексе Яши была одна страница. Решил закрыть дубли в папке taxonomy/term (хотя фактически дублями они не являлись но в некотрых случаях совпадали - например категория компьютерная техника/ подкатегория компьютеры).
Категории назвал уникальными названиями типа site/computer а в robots.txt закрыл от индексации всю папку taxonomy/term.
Сегодня смотрю Яндекс замечательно проиндексировал все страницы в том числе таксономию. Прошу совета. Убрать запрет индексации папок с robots.txt или оставить как есть? |
|
|
|
|
|
| на robots сейчас никто не смотрит из поисковиков |
|
|
|
|
|
| Цитата: |
| на robots сейчас никто не смотрит из поисковиков
|
- это точная информация? Как же тогда закрывать служебные страницы? |
|
|
|
|
|
|
