Robots.txt
Новая тема Написать ответ
# Вс Сен 26, 2010 10:56 pmfound Зарег.: 23.09.2010 ; Сообщ.: 54Ответить с цитатой
имеет ли место следуюющий код?


Код:
User-agent: *
Disallow:

Host: site.ru



Тоесть директива Host только для Яндекса и основной домен site.ru.


Или лучше написать вот так?


Код:
User-agent: *
Disallow:

User-agent: Yandex
Disallow:

Host: site.ru

# Пн Сен 27, 2010 1:18 pmpixel Зарег.: 10.08.2008 ; Сообщ.: 626Ответить с цитатой
лучше второе
# Пн Сен 27, 2010 6:12 pmfound Зарег.: 23.09.2010 ; Сообщ.: 54Ответить с цитатой
pixel писал(а):
лучше второе


Чем обоснуете?

Как на меня лучше вообше вот этот вариант

Код:
User-agent: Yandex
Disallow:
Host: site.ru

User-agent: *
Disallow:

# Пн Сен 27, 2010 7:10 pmpixel Зарег.: 10.08.2008 ; Сообщ.: 626Ответить с цитатой
Код:
User-agent: *
Disallow:

Host: site.ru



Так лучше не писать.
Host это нестандартная директива, поэтому для нее лучше создавать отдельную секцию, как и сделано во втором варианте.

Читайте: http://robotstxt.org.ru/robotstxterrors
# Пн Сен 27, 2010 7:18 pmfound Зарег.: 23.09.2010 ; Сообщ.: 54Ответить с цитатой
pixel писал(а):
Код:
User-agent: *
Disallow:

Host: site.ru



Так лучше не писать.
Host это нестандартная директива, поэтому для нее лучше создавать отдельную секцию, как и сделано во втором варианте.

Читайте: http://robotstxt.org.ru/robotstxterrors



Код:
#Пример корректно составленного robots.txt, при обработке
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: www.myhost.ru


Это из документации Яндекса.

Вопрос в том, стоит ли для Яндекса отдельно составлять директивы
# Пт Окт 01, 2010 5:26 pmLexix Зарег.: 11.07.2008 ; Сообщ.: 2143Ответить с цитатой
Цитата:
Вопрос в том, стоит ли для Яндекса отдельно составлять директивы

found, много времени это не займёт, так что делайте.
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ
 
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.