|
|
|
|
|
имеет ли место следуюющий код?
| Код: |
User-agent: *
Disallow:
Host: site.ru
|
Тоесть директива Host только для Яндекса и основной домен site.ru.
Или лучше написать вот так?
| Код: |
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Host: site.ru
|
|
|
|
|
|
|
|
|
| pixel писал(а): |
|
лучше второе
|
Чем обоснуете?
Как на меня лучше вообше вот этот вариант
| Код: |
User-agent: Yandex
Disallow:
Host: site.ru
User-agent: *
Disallow:
|
|
|
|
|
|
|
| Код: |
User-agent: *
Disallow:
Host: site.ru
|
Так лучше не писать.
Host это нестандартная директива, поэтому для нее лучше создавать отдельную секцию, как и сделано во втором варианте.
Читайте: http://robotstxt.org.ru/robotstxterrors |
|
|
|
|
|
| pixel писал(а): |
| Код: |
User-agent: *
Disallow:
Host: site.ru
|
Так лучше не писать.
Host это нестандартная директива, поэтому для нее лучше создавать отдельную секцию, как и сделано во втором варианте.
Читайте: http://robotstxt.org.ru/robotstxterrors
|
| Код: |
#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: www.myhost.ru
|
Это из документации Яндекса.
Вопрос в том, стоит ли для Яндекса отдельно составлять директивы |
|
|
|
|
|
| Цитата: |
| Вопрос в том, стоит ли для Яндекса отдельно составлять директивы
|
found, много времени это не займёт, так что делайте. |
|
|
|
|
|
|
