Откуда приходит Яха
Новая тема Написать ответ
# Сб Фев 24, 2007 1:58 amuser00 Зарег.: 24.07.2006 ; Сообщ.: 717Ответить с цитатой
Почему бот Yahoo приходит с этого урла http://help.yahoo.com/help/us/ysearch/slurp ?
# Сб Фев 24, 2007 3:33 amparovoz Зарег.: 23.10.2005 ; Сообщ.: 282Ответить с цитатой
с чего это ты взял, что он оттуда приходит?
# Сб Фев 24, 2007 4:10 amuser00 Зарег.: 24.07.2006 ; Сообщ.: 717Ответить с цитатой
parovoz писал(а):
с чего это ты взял, что он оттуда приходит?


Логи читаю:
74.6.67.201 - - [17/Feb/2007:07:16:35 -0600] "GET /blog HTTP/1.0" 301 234 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.86.230 - - [17/Feb/2007:07:16:51 -0600] "GET /robots.txt HTTP/1.0" 200 243 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.86.74 - - [17/Feb/2007:07:28:18 -0600] "GET /robots.txt HTTP/1.0" 200 243 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
66.249.65.5 - - [17/Feb/2007:07:31:40 -0600] "GET /%E5%8D%9A HTTP/1.1" 404 3652 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
213.180.214.174 - - [17/Feb/2007:07:37:20 -0600] "GET /rublog/?feed=rss2 HTTP/1.1" 304 - "-" "YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) 0 readers"
# Сб Фев 24, 2007 2:25 pmGemini Зарег.: 03.02.2007 ; Сообщ.: 21Ответить с цитатой
Не приходит он с этого урла.
Он так идентифицируется, заполняя серверную переменную "HTTP_USER_AGENT" как это делает браузер. Я когда первый раз увидал подобную запись, пошел по ссылке и сразу все понял, КТО в гости приходил :smk:
А по поводу ОТКУДА - есть пул адресов 74.6.*, принадлежащие Inktomi Corporation
# Сб Фев 24, 2007 3:43 pmuser00 Зарег.: 24.07.2006 ; Сообщ.: 717Ответить с цитатой
Понятно, что с 74.6.*, хотел спросить, зачем этот УРЛ в индификаторе http://help.yahoo.com/help/us/ysearch/slurp указывается?

Если использовать анализаторы логов, то этот урл будет в строке индификации ботов user_agent и вебмастер может кликнуть и почитать "факи", правильно я понял?
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ
 
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.