|
|
|
|
|
Сегодня посмотрела статистику одного из своих сайтов и увидела там в разделе "Роботы" такое:
Googlebot 955+7
Yahoo Slurp 793+18
Alexa (IA Archiver) 65+2
и т д, все с плюсами.
Что это за плюсы, кто нибудь знает?
(Статистика Awstats) |
|
|
|
|
|
незнаю насчет бота гугля..
но бот яху порой так агресивно себя ведет что легко динамику положить может..
статика там рулит..
где то я видел статьи про это....
даже тут кто то свой блог... где писал об этом..
и давал роботс.тхт для лечения. |
|
|
|
|
|
| + n - кол-во раз бот успешно прочитал robots.txt |
|
|
|
|
|
| Taburetkin, Спасибо, буду знать! |
|
|
|
|
|
|
