|
|
|
|
|
| Какую максимальную частоту запросов с одного IP можно выставить для парсинга выдачи что бы не получить бан? Какую вы паузу ставите? |
|
|
|
|
|
|
|
| Julpierto писал(а): |
|
2-4 сек
|
не слишком мало? я ставил 10-15 сек. |
|
|
|
|
|
| Только ставь таймаут рандомный, а не постоянный. |
|
|
|
|
|
ставлю рандом 10-20, тогда меньше капч просит.
Яндекс более лоялен, а вот Гугл часто капчу запрашивает, плюс не любит паблик прокси (даже из хороших списков). |
|
|
|
|
|
| По поводу лояльности яндекса могу посморить. Я обычно использую пачку проксей и хорошие задержки (минимум 15 сек в рамках работы с одним прокси) - и то банит довольно быстро |
|
|
|
|
|
|
|
| Yabuti писал(а): |
ставлю рандом 10-20, тогда меньше капч просит.
Яндекс более лоялен, а вот Гугл часто капчу запрашивает, плюс не любит паблик прокси (даже из хороших списков).
|
Я ставлю от 7 до 15 сек
Там есть Google Ajax Api ключ
http://code.google.com/intl/ru-RU/apis/loader/signup.html
С ним капчи не просит, за 8 часов останавливается 2-3 раза на 5 минут. А так все отлично  |
|
|
|
|
|
если не ошибаюсь там в районе 15-20 сек надо.
но вообще лучше все-таки с прокси) |
|
|
|
|
|
зависит от СЕ,
гугля помоему банит полюбому, вне зависимости от тайм аутов (вернее пауз, таймауты это скорее макс. ожидание времени ответа..), вернее дает каптчу, если за какое то кол-во времени, напр. 1 час, было столько то запросов, если юзать inurl: то как замечал побанит в раз 5 быстрее,
поэтому когда мне надо небольшую базу собрать,
я наоборот ставлю до 3-5-7 сек, чтобы он неуспел понять и побанить. |
|
|
|
|
|
| От запросов кстати очень сильно зависит. |
|
|
|
|
|
|
