Как получить список ссылок из выдачи Google?
Новая тема Написать ответ
# Вс Сен 15, 2013 6:03 pmreeemmmy Зарег.: 08.08.2009 ; Сообщ.: 64Ответить с цитатой
Как получить список ссылок из выдачи Google по определенному запросу?

я хочу найти все проиндексированные Гуглом страницы моего сайта, но которые не нужны в индексе, например постраничный вывод не нужен в индексе и удалить их используя инструмент удаления страниц в вебмастре Гугла

Все страницы из индекса с постраниченой пагинацией можно получить таким запросом
Код:
site:site.ru inurl:page


А как получить список URL страниц из выдачи? кроме ручного варианта, а то уж слишком много их там

Спасибо
# Вс Сен 15, 2013 6:15 pmVKtraf Зарег.: 03.02.2012 ; Сообщ.: 969Ответить с цитатой
Бесплатный вариант - парсер Байрона, запросы вида: "site:site.ru"
# Вс Сен 15, 2013 6:46 pmJM Зарег.: 25.08.2006 ; Сообщ.: 1382Ответить с цитатой
Народ а мне подскажите заодно, как получить сайты где есть юрл вида /forum/ допустим и пох на домены?
# Вс Сен 15, 2013 7:21 pmVKtraf Зарег.: 03.02.2012 ; Сообщ.: 969Ответить с цитатой
JM, запросы, вида: inurl:"/forum/"
Т.к. Гугл выдает ограниченное количество результатов, то можно расширить признаки, перебирая домены:
inurl:"/forum/" site:.com
inurl:"/forum/" site:.net
inurl:"/forum/" site:.org
и т.д.

Дополнительно можно расширить с помощью признаков форумов:
inurl:"/forum/" site:.com "Powered by SMF 1.0"
inurl:"/forum/" site:.com "Powered by SMF 1.1"
inurl:"/forum/" site:.com "Powered by SMF 2.0"
и т.д.
# Вс Сен 15, 2013 7:25 pmJM Зарег.: 25.08.2006 ; Сообщ.: 1382Ответить с цитатой
То что нужно!
# Вс Сен 15, 2013 8:53 pmVKtraf Зарег.: 03.02.2012 ; Сообщ.: 969Ответить с цитатой
JM, Drinks or Beer
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ
 
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.