|
|
|
|
|
топик рассчитан на новичков, и как бы тех.-теор знания, по самой оптимизации ненесет..
зато, для совершенно белых проектов, думаю эта инфа будет полезна
пишите вопросы тут, и я буду задавать их также..
ЯНДЕКС: http://help.yandex.ru/webmaster/ (вебмастерская/добавить сайт/проверить на индекс..)
но я его забанил.. - он хоть конечно не так агрессивен и туп как Куила Твиселер.. но всеравно..
/////// robots.txt в корне домена, или в корне сабов.. ///////
User-agent: Yandex
Disallow: /
http://www.majesticseo.com/ : .. ввести свой домен вверху..
также забанил, хотя может он поможет всем оценить стоимость какого нить сайта..
/////// robots.txt в корне домена, или в корне сабов.. ///////
User-agent: MJ12bot
Disallow: /
_______
также, если у вас англ. адалт сайты/блоги/сплоги..
вернее если на домене много страничек.. и идет оплата за трафик.. то можете юзать мой robots.txt
| Код: |
User-agent: *
Crawl-delay: 5
User-agent: Twiceler
Disallow: /
User-agent: GingerCrawler
Disallow: /
User-agent: Yandex
Disallow: /
User-agent: MJ12bot
Disallow: /
User-agent: robotgenius
Disallow: /
User-agent: dotbot
Disallow: /
|
если доверяете..
есть трабл: вот как бы боту сказать, чтоб он держал интервал
ведь правила в роботс.тхт относяться только в тому домену/сабу.. на котором он сидит.. как нить правила с него можно на все сабы переложить.. но на сабах он такой же должен быть по содержанию..
или можно попробовать, на сабах его давать в другом виде..
сделаю.. лижбы знать как бы сказать ботам, что интервал в 5 сек.. на домен и на все его сабдомены..
иначе.. он соблюдает интервал.. для каждого домена в отдельности..
и если даже на 100 сабах стоит интервал в 5 сек..
то это может давать и по 100 хитов каждые 5 сек, т.е. частота 100/5 = 20 хитов в 1 сек.. (20 Герц)
т.е. перебор уже в 100 раз..
______
.. и еще раз хочу сказать про хосты, .. т.е. скажу зачем мне приходиться банить таких ботов.. - потом допишу.. |
|
|
|
|
|
я еще бы добавлил:
| Код: |
User-Agent: larbin_2.6.3
Disallow: *
User-Agent: OmniExplorer_Bot/1.09
Disallow: *
|
|
|
|
|
|
|
| По моему это бред - банить яндекс и пытаться сэкономить дэцл процессора. |
|
|
|
|
|
| PistoGanza писал(а): |
|
По моему это бред - банить яндекс и пытаться сэкономить дэцл процессора.
|
.. у меня на некоторых доменах под 7500+ сабов..
и никакие кравл-делей бота неостанавливают.. (писал выше)
даже не проц, а трафик в несколько ГБ за мес. только от яндекс-бота.. и в ответ - практически ничего, и даже на инглиш ресурс, мне РУ трафик ненужен, еслиб он там был..
также надо смотреть, что я привожу список из нескольких ботов, и вот еще сравнение экономичности бана их.. - яндекс-бот, по сравнению с твиселером - мягкая пони..
shhef,
спасибо, но я оперативно/ежедневно проверяю последние_хиты/ суммарную стату за вчера, .. и эти боты/агенты.. меня пока небеспокоили так чтоб я их заметил..
есть еще в бане несколько ИП адресов, оттуда непойми что залетает .. но это уже для каждого думаю своё.. |
|
|
|
|
|
|
|
|
|
|
