|
На страницу Пред. 1, 2 |
|
|
|
Впервые я увидел ЭТО тут:
http://www.globalsecurity.org/robots.txt
Больше такого я нигде не встречал..
Я очень совневаюсь, что ресурс такого уровня страдает от нехватки серверных мощностей.
И тем не менее очевидно, что robots.txt серьезно ограничивает граббинг контента. Что там в htaccess можно только гадать.. |
|
|
|
|
|
ну и что. ну и пусть. абсолютно бестолковая и ненужная вещь.
против грабберов это не поможет нисколько. Хотя чего, пусть, сервер железный, все стерпит. |
|
|
|
|
|
creator123, думаете его администрируют люди глупее?
Вася, который с под винды решил слить себе сайт, напорется с нехилыми проблемами. И далеко не все знают программирование, чтоб написать/переписать граббер под этот сайт.
Определенно ничего плохого такой robots не несет, а вот сокращает лишний траф - это да.
зы.
Я не удивлюсь, что роботс пишет специальный скрипт, который анализирует логи и автоматически добавляет лишние юзер-агенты в disallow, а может и в htaccess deny для особо резвых. |
|
|
|
|
|
|
|
|
