|
На страницу Пред. 1, 2 |
|
|
|
Кстати о sitemap в robots.txt, подскажите как правильно его ставить и где именно?
Или без разницы, в начале текста или в конце robots.txt |
|
|
|
|
|
|
|
http://www.armadaboard.com/viewtopic.php?p=4657603#4657603
наверно мою задачу можно решить только так:
User-agent: Baiduspider
Disallow: *1*
Disallow: *2*
Disallow: *3*
Disallow: *4*
Disallow: *5*
Disallow: *6*
Disallow: *7*
Disallow: *8*
Disallow: *9*
Disallow: *0*
да?
т.е. никаких регулярок в дисалове быть неможет ? |
|
|
|
|
|
а как правильнее,
с чертой в начале.. или её можно неставить?
----------
User-agent: Baiduspider
Disallow: /*1*
Disallow: /*2*
..
----------
также, ограничение на индексацию линков, в пути и имени файла есть цифра..
с отсутствием звездочки в конце..
т.е.:
----------
User-agent: Baiduspider
Disallow: /*1
Disallow: /*2
----------
теже свойства будут..?
или это запретит индексацию, только тем файлам/путям, если они и кончаються строго на цифру.. ?
 |
|
|
|
|
|
форматы на этот файл, для разных ТОП СЕ (гугль,бинг,яху) различен?
и единственно что это может как то ускорить процесс индексации сайта, но это неособо важно..
и думаю, основном момент, боту проще и бысрее переиндексировать сайт файлы, сразу, судя по изменениям в сайтмеп ?
________
кстати, у некоторых сайтов в Гугле, внизу в выдаче, есть категории, в конце снипета, после текста..
см. http://www.google.com/search?hl=en&source=hp&q=porn
первый сайт pornhub.com
- как это реализуеться, через карту сайта..
или если сайт на ВП, то бот сам может найти и обозначить категории ? |
|
|
|
|
|
| nomer8 писал(а): |
IseeDeadPeople, в японии популярен другой поисковик у которого лого синишар 
Байда - китайце
|
какой это у Японии?
_____
т.е. на байде трафик китайский в основном..
и им можно пренебречь в следствии его неплатежеспособности.. ?
- вообще, помоему тама давно уже уровень жизни/доходы лучьше/выше чем в России 
_____
вот еще, строки комментарии в роботс.тхт, это строка(подстрока) после значка # ?
значок # должен быть строго на первой позиции в строке, чтоб это считалося коментарием.. или можно после какого то оператора запрета/инициализации написать.. ? |
|
|
|
|
|
| Оффтоп: |
| Цитата: |
| - вообще, помоему тама давно уже уровень жизни/доходы лучьше/выше чем в России
|
ты ошибаешся, там за теже деньги что платиш по кредитке они бы могли найти двух неплохих девчёнок на ноч...
|
|
|
|
|
|
|
ты ошибаешся, там за теже деньги что платиш по кредитке они бы могли найти двух неплохих девчёнок на ноч...
т.е. уровень жизни в Китае намного ниже, чем напр. в России/Москва ?
но тама есть гораздо больше состоятельных людей, хотя ориентироваться на какой то % населения нестоит (!?)
- ну так еще лучьше, значит думаю просто байду задисаловлю.. т.к.
но это все хорошо, но нужна тех. информация:
сегодня вот, на одном домене, глобально на всех сабах.. поставил 403 на ИПы байду..
т.к. такой вот роботс:
User-agent: Baiduspider
Disallow: /*1*
Disallow: /*2*
Disallow: /*3*
Disallow: /*4*
Disallow: /*5*
Disallow: /*6*
Disallow: /*7*
Disallow: /*8*
Disallow: /*9*
Disallow: /*0*
пока что недал, как я вижу, результата..
или может - через какие периоды времени, байду бот, на каком то сабдомене, проверяет роботс.тхт и ставит новые правила.. ?
может он просто пока на тех саб доменах, которые еще 2 дня назад начал индексить, новый роботс невзял..
так что, я спец. забанил временно, на 24 часа.. ИП сетку байду.. (хотя джапонский байду бот, бегает с дургих ип.. но от него столько бот-трафика нету..) чтоб он оставил скорее те сабы кот. знает.. и начал новые..
________
вообще, идеально было бы составить такие роботс строчки, чтоб разрешить ему индексить только корень "/" сабдомена:
именно пропускать только индексацию http://sub.domain.com/, а уже http://sub.domain.com/index.html, /index.php, /any/any/any.any, и при этом корень конечно запускает index.php, но боту это можно и незнать..
- но я непредставляю как это можно сделать.. ? |
|
|
|
|
|
IseeDeadPeople
| Цитата: |
User-agent: Baiduspider
Disallow: /q
Disallow: /w
Disallow: /e
Disallow: /r
Disallow: /t
Disallow: /y
Disallow: /u
Disallow: /i
Disallow: /o
Disallow: /p
Disallow: /a
Disallow: /s
Disallow: /d
Disallow: /f
Disallow: /g
Disallow: /h
Disallow: /j
Disallow: /k
Disallow: /l
Disallow: /z
Disallow: /x
Disallow: /c
Disallow: /v
Disallow: /r
Disallow: /b
Disallow: /n
Disallow: /m
Disallow: /3
Disallow: /2
Disallow: /1
Disallow: /4
Disallow: /5
Disallow: /6
Disallow: /7
Disallow: /8
Disallow: /9
Disallow: /0
|
так он всё кроме "/" будет неиндексить |
|
|
|
|
|
nomer8,
спасибо, хотя это особо ненадо, достаточно было .. цифры ..
и пока что, забанил еще неделю назад, сейчас разбаню, посмотрю.. соблюдает ли
"User-agent: Baiduspider Disallow: /*1* Disallow: /*2*.... Disallow: /*0* "
если нет, то забаню роботсом байду, трафика с него было одно время превалировать чем с других, сейчас же - нет, и тем более, мне дали понять, что Китай это Китай, а японский их пони, явно неиграет большую территорию как яндекс в РУ, поэтому думаю для англо-адалт-ресурса, потерять трафик с Байды_Китайской+байды_Японской .. не так уж и страшно..
тем более, сегодня вот еще покапал материал, и было ясно, что "продажные шлюхи" в основном, а не С.П. или старый внут.. механизм что то~ , чтоб получить ТОП места..
впринципи, мне уже даже видна какая то зависимость:
чем больше от СЕ бота идет ботового трафика, тем меньше живого трафика получаешь с самой СЕ.
а твой вариант, еще надо смотреть,
есть ли регистрозависимость, т.е. /a /A различны/нет ли..
далее, такой вот файл /-lala.html или /_lala.html также надо смотреть..
т.е. кол-во строк может вырости в раза два, что неочень этично юзать такие роботсы.. и чего то мне кажеться, что он может и несоблюдать такое обилие дисаловов .. |
|
|
|
|
|
|
|
|
