|
|
|
|
|
MSIECrawler
хелп, чей это бот? |
|
|
|
|
|
А шо за паника ? Много кушает ? 
Там рядом с юзерагентом должен быть и IPшник, забей его в адресную строку, если не откроется попробуй whois.
MicroSoftInternetExplorerCrawler типа так наверно  |
|
|
|
|
|
| Yambik писал(а): |
MSIECrawler
хелп, чей это бот?
|
Ничей, это кто то с твоего сайта зеркало делает.
| Код: |
Owner User dependant.
Country User dependant.
Description MSIECrawler is not a true web robot. It is usually to be found in site logs if someone bookmarks a page whilst offline. Internet Explorer will then download the page and all links related to it, including links, images, JavaScript and Style sheets, when the user is next online.
IP Addresses Variable, as a one off of little use, but may be worth looking for a pattern.
HTTP User Agent MSIECrawler
Exclusion Th MSIECrawler robot supports the robots.txt exclusion standard, which is described at http://www.robotstxt.org/wc/exclusion.html#robotstxt. To stop the robot from visiting the /cgi-bin directory:
User-agent: MSIECrawler
Disallow: /cgi-bin/
Further Info. msdn.microsoft.com/workshop/delivery/offline/linkrel.asp
|
|
|
|
|
|
|
Не знаю, даже, короче глубоко не читал ену статью, но по ходу ничего страшного.
Если я правильно понял этот бот сковыривает страничку и всю начинку и делает её доступной в оффлайне. Ну дык енто известная практика  |
|
|
|
|
|
|
|
|
