|
|
|
|
|
Господа, такой вопрос:
есть определенные страницы, закрытые от индексации файлом robots.txt. Гугл и Яндекс послушно следуют указаниям данного файла.
А вот live.com и MSN мало того, что игнорируют данный запрет - они еще эту страницу на первую страницу в выдаче повесили 
В чем может быть дело? Может быть для них какой-то свой, особый файл нужно составлять? |
|
|
|
|
|
баги лезут, ждите пока исправять  |
|
|
|
|
|
Ну, шоб перви, Гугл жрет файлы, запрещенные к индексации через robots.txt, в чем его не раз уже обвиняли. Официальная позиция примерно такова - "жрем, анализируем, но в выдачу не выкладываем. Проверяем для борьбы с клоакингом".
Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила. |
|
|
|
|
|
| Вацлав писал(а): |
|
Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила.
|
А такое
разве не подразумевает всех-всех агентов? |
|
|
|
|
|
| Я один скрипт разместил на сайте, а в robots.txt запретил папку со скриптом индексировать Яндексу. Каково было мое удивление, когда Яндекс забанил мой сайт именно из за этого скрипта (причину изложила служба поддержки Яндекса). |
|
|
|
|
|
|
|
|
