[ContentDownloader] готовые проекты
На страницу 1, 2  След.
Новая тема Написать ответ
# Пн Ноя 11, 2013 8:42 pmFester Зарег.: 01.11.2013 ; Сообщ.: 18Ответить с цитатой
Всем привет!

Выкладываю свои проекты для замечательного парсера ContentDownloader (http://sbfactory.ru/?p=600). Также, при наличии у меня свободного времени или интересного проекта - делаю на заказ.

За сложные и индивидуальные проекты возьму скромную оплату, за простые и интересные проекты оплату не беру. Занимаюсь в своё удовольствие и для повышения квалификации.


Из готовых, которые успел проверить и готов выложить следующие: (список будет пополняться) Bayan

1. Парсер сервиса проксей xroxy (http://seo2all.ru/cd/xroxy.cdp)

2. Парсер превьюх-картиночек банка-стока webstockpro (http://seo2all.ru/cd/webstockpro.cdp)

В проекте нужно заменить ключи на свои. Ссылки парсить не нужно, пользуйтесь размноживателем ссылок {num} со своими ключами. Отлично подойдут в качестве дополнения к вашим постам в дорах, либо в дополнение к белым постам с тематическими картинками.

3. Yahoo-сниппеты (http://seo2all.ru/cd/yahoo-snippet.cdp)
В сканере сайтов заменить в ссылках и фильтрах свои ключевики


4. Парсер ezinearticles (http://seo2all.ru/cd/ezinearticles.cdp)
Метод такой:
а) Сначала используем свои ключи как в примере и размножаем ссылки
б) Потом добавляем эти ссылки в сканер и парсим уже их. Получаем тематические статьи.

5. парсер ответов Майл.Ру со всеми ответами, картинками и видео. (http://seo2all.ru/cd/mail-otvet.cdp)

6. Парсер контента ifehacker.ru (http://seo2all.ru/cd/lifehacker_ru.cdp)

7. Парсер контента siliconrus.com (http://seo2all.ru/cd/siliconrus_com.cdp)
# Пн Ноя 11, 2013 8:57 pmIseeDeadPeople Зарег.: 06.12.2005 ; Сообщ.: 21733Ответить с цитатой
Монстр. :thup:
# Пн Ноя 11, 2013 11:20 pmicedogas Зарег.: 14.01.2008 ; Сообщ.: 1284Ответить с цитатой
круто! Drinks or Beer
# Ср Ноя 13, 2013 1:48 pmFester Зарег.: 01.11.2013 ; Сообщ.: 18Ответить с цитатой
Парсер Авито http://seo2all.ru/cd/avito_ru.zip

В сканере сайтов в качестве примера "недвижимость" - заменяйте на свою категорию и сканьте. Внимание! В фильтрах я поставил стандартные ссылки с авито, которые нужно пропускать:

http://www.avito.ru/shops/*/*
http://www.avito.ru/*/kvartiry/prodam
http://www.avito.ru/*/kvartiry/sdam
http://www.avito.ru/*/kvartiry/kuplyu
http://www.avito.ru/*/kvartiry/snimu
profile
registration
additem
http://www.avito.ru//www.avito.ru/*

в других категориях они будут отличаться, будьте бдительны!

Сами посмотрите шаблон вывода - если нужно, замените или переставьте.
В настройках парсинга отключил сохранение страниц с битыми ссылками.
# Ср Ноя 13, 2013 3:59 pmexcl Зарег.: 28.01.2007 ; Сообщ.: 975Ответить с цитатой
А есть возможность выкачать весь сайт из вебархива за определенную дату?
# Ср Ноя 13, 2013 5:19 pmFester Зарег.: 01.11.2013 ; Сообщ.: 18Ответить с цитатой
excl писал(а):
А есть возможность выкачать весь сайт из вебархива за определенную дату?



как вы себе это представляете? ) есть же софт под это дело. С КД не пробовал так извращаться, но посмотрю на досуге Smile
# Ср Ноя 13, 2013 6:24 pmexcl Зарег.: 28.01.2007 ; Сообщ.: 975Ответить с цитатой
Fester, какой-то конкретный софт рабочий на данный момент тебе известен под это дело? Мне непринципиально чем именно, главное чтобы работало и не паблик сервис, так как домены я светить не хочу.
# Ср Ноя 13, 2013 9:16 pmShkiff Зарег.: 09.03.2009 ; Сообщ.: 3227Ответить с цитатой
Скрытый пост. Для просмотра требуется 950 сообщений.
# Ср Ноя 13, 2013 10:07 pmIseeDeadPeople Зарег.: 06.12.2005 ; Сообщ.: 21733Ответить с цитатой
Структуры на регулярных выражениях очень не стабильны, стоит чему то измениться в html сорцах, или алгоритмы в php при обновление, и они начинают работать подхватывая еще и всякий мусор, как это бывает.
# Ср Ноя 13, 2013 11:27 pmexcl Зарег.: 28.01.2007 ; Сообщ.: 975Ответить с цитатой
Shkiff, спасибо, попробую его запустить.

IseeDeadPeople, да пофиг с мусором. Просто не на все страницы ссылки в вебархиве ссылки остаются. Если там, например, стоял скрипт каталога статей, который на каждой странице отображает по 5-10 ссылок на статьи, а страница то одна лишь в вебархиве, скрипт то больше не работает и остальных страниц не видно, но они есть.
# Ср Ноя 13, 2013 11:41 pmShkiff Зарег.: 09.03.2009 ; Сообщ.: 3227Ответить с цитатой
этот пробовал http://r-tools.org/start#p5372, я только с ним и качаю.

9000 тыс страниц за 15 у.е.
# Ср Ноя 13, 2013 11:54 pmexcl Зарег.: 28.01.2007 ; Сообщ.: 975Ответить с цитатой
Shkiff, там могут вестись логи, и есть риск, что твои 9000 страниц уника станут не уником Smile
# Чт Ноя 14, 2013 12:33 amShkiff Зарег.: 09.03.2009 ; Сообщ.: 3227Ответить с цитатой
так отзывы можно почитать Wink
# Чт Ноя 14, 2013 9:23 amexcl Зарег.: 28.01.2007 ; Сообщ.: 975Ответить с цитатой
Shkiff, тот скрипт, что ты дал, - работает кстати. Если что, то попробую под свои нужды его исправить.
# Чт Ноя 14, 2013 12:31 pmShkiff Зарег.: 09.03.2009 ; Сообщ.: 3227Ответить с цитатой
Drinks or Beer

Еще так интересно получается, что я его в архиве нашел ))))
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ
 На страницу 1, 2  След.
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.