|
|
|
|
|
Интересно, кто-то вел такую статистику, как влияет наличие этого файла (даже пустого) - на поведение поисковиков?
Мне раньше посоветовали сделать этот файл - в качестве рекомендации, когда поисковики не хотели индексировать сайт... Но на примере одного сайте нельзя сказать с уверенностью, именно это помогло или что-то иное. |
|
|
|
|
|
| помойму фигня это, от того шо он есть быстрей в серп не попадешь |
|
|
|
|
|
Это второй по очереди файл, который юзают пауки. Я разницы не заметил, есть он, нет его.
Некоторые сеошники рекомендуют, даже если нечего закрывать, делать его просто пустым. |
|
|
|
|
|
| Цитата: |
от того шо он есть быстрей в серп не попадешь
|
Юзается в основном для того чтоб показать куда можно а куда нельзя лазить.
Для более быстрой индексации можно использовать google sitemap. Но для больших ресурсов его нужно привязывать к портальной системе, иначе замахаешься вручную дописывать или удалять страницы в нём. |
|
|
|
|
|
у меня был такой случай - сервер был криво настроен и не выдавал корректного 404-ответа
в том числе когда запрашивался несуществующий robots.txt - сервер выдавал длинную страницу с перечнем ошибок java и так далее. С кодом 200.
Можно только догадываться как эту информацию интерпретировал поисковый бот, но в яндексе кроме морды сайта ничего не было, пока не поправили.
с тех пор в сомнительных случаях (например на фрихостах) стараюсь залить хотя бы пустой файл, когда не лень  |
|
|
|
|
|
|
|
|
