BatchURLScraper - Извлечение данных XPath, CSSPath, RegExp
Новая тема Написать ответ
# Вт Ноя 17, 2020 7:12 pmchaser Зарег.: 08.02.2017 ; Сообщ.: 69Ответить с цитатой
Всем привет!

Представляю вашему вниманию бесплатную программу BatchURLScraper, предназначенную для извлечения данных со страниц сайтов используя XPath, CSS-селекторы, XQuery и RegExp.







Возможности программы BatchURLScraper:

  • парсинг и извлечение данных по списку URL
  • гибкая настройка парсинга используя XPath, CSSPath, XQuery и RegExp
  • модуль для тестирования правил парсинга
  • экспорт отчетов в Excel (CSV-формат)


Страница скачивания (5 Мб): https://site-analyzer.ru/soft/batch-url-scraper/

Буду рад любым отзывам и пожеланиям по работе программы.
# Чт Ноя 26, 2020 6:25 pmchaser Зарег.: 08.02.2017 ; Сообщ.: 69Ответить с цитатой
Новая версия BatchURLScraper 1.3







Что нового:

  • расширено число страниц для парсинга с 1000 до 5000 URL
  • добавлена возможность скрапинга через HTML templates
  • добавлена возможность извлечения данных через атрибуты CSS
  • добавлена возможность скрапинга через внешний и внутренний HTML
  • добавлена возможность использования списков Proxy
  • исправлен баг некорректного сохранения User-Agent


Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/
# Вт Dec 08, 2020 7:46 pmchaser Зарег.: 08.02.2017 ; Сообщ.: 69Ответить с цитатой
Новая версия BatchURLScraper 1.4 (build 27), 08.12.2020:

  • исправлена ошибка с валидацией HTML-темплейтов
  • оптимизирована работа с регулярными выражениями
  • добавлена возможность неучета повторений при скрейпинге
  • исправлена проблема с учетом пауз между запросами
  • диапазон пауз между запросами расширен до полутора минут
  • доработан и улучшен перевод программы
  • устранены утечки памяти
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ
 
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.