A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 ... 12, 13, 14, 15, 16, 17, 18, 19, 20, 21
Новая тема Написать ответ
# Пн Апр 01, 2024 5:15 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных



Улучшения
  • В SE::Google:
    • добавлен параметр Empty totalcount is error, детальнее тут
    • добавлен сбор тегов (массив $tags.$i.tag)
  • SE::Yandex - улучшен парсинг сниппета генеративного ответа
  • В парсере OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
  • В SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
  • В SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
  • В SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
  • Следующие настройки перенесены из опций в параметры парсера:
    SE::Google: Parse people also ask
    SE::Yandex: Parse Quick answers и Parse generative answer


Исправления в связи с изменениями в выдаче
  • В SE::Yandex исправлена работа с каптчами
  • Исправлен парсинг дат в SE::Google
  • Исправлен парсинг быстрых ответов в SE::Yandex
  • В SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
  • Исправлена работа Shop::Wildberries::ProductsList с некоторыми запросами
  • Исправлен сбор $related в SE::Yahoo
  • В SE::Yandex::Direct исправлен парсинг доменов для некоторых случаев
  • Исправлена ошибка Unexpected token в Social::TikTok::Profile
  • Исправлен сбор $views в SE::Bing::Video
  • В SE::You исправлен парсинг ссылок на превью
  • В Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
  • Исправлена ошибка при парсинге больше 5-ти страниц в SE::Ask
  • Адаптация к изменениям на источниках: Shop::Amazon, Shop::AliExpress, Shop::Yandex::Market, SecurityTrails::IP


Исправления
  • Исправлена проблема с отображением сохраненных заданий
  • Исправлена работа опции Collect full region в Maps::Google


# Чт Апр 11, 2024 3:56 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends

63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.

Конвертация Youtube видео в HTML страницы
Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.


Парсер картинок с Шедеврум с дополнительными данными
Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, promptы по которым генерировались эти картинки, описание и т.д.


Парсер Pinterest Trends
Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов


# Пн Апр 22, 2024 3:02 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.
  • Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
  • Изображение теперь доступно в переменной $data

Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.
  • Исправлен парсинг
  • Парсер переписан на TS (API v2)
  • Добавлена возможность указания количества страниц парсинга

Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.
  • Исправлен сбор всех результатов
  • Адаптация к изменениям на источнике

JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.
  • Парсер переписан на TypeScript API v2

Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.
  • Адаптация к изменениям на источнике
  • $delivery теперь массив
  • $formattedQuery был удален
  • Вместо $html исходный код страницы сохраняется в $data


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


# Чт Май 02, 2024 4:45 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.


Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.


Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

# Пн Май 13, 2024 4:50 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения
  • Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
  • Улучшена очистка ссылок в SE::Bing
  • В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
  • В SE::Yandex добавлен вывод "пропущенных слов"
  • В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
  • В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
  • В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM

Исправления в связи с изменениями в выдаче
  • Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
  • Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram::Post
  • Исправлен парсинг $thumb в Social::Instagram::Profile
  • Исправлен парсинг $serp.$i.social в Maps::Yandex
  • Исправлен парсинг комментариев в SE::YouTube::Video
  • Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
  • SE::Yahoo, Shop::Wildberries::ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE::Dogpile::Images, SE::DuckDuckGo, Cloudflare::Radar

Исправления
  • Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
  • Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
  • Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*


# Чт Май 23, 2024 2:33 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.

[video]https://youtu.be/3Czb5SuKztY[/video]

[video]https://youtu.be/39ViWwp3ot8[/video]

Плейлист со всеми видео уроками от [b]DIM STUDIO[/b]

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

# Пн Июн 03, 2024 5:03 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Google Indexing API
Парсер для добавления или удаления страниц сайта в Google через Indexing API
  • Исправлена ошибка "Cannot init Parser: Error: EISDIR: illegal operation on a directory, read at Object.readSync"
  • Изменения в логике обработки запросов

JS::MailValidator
Проверка существования e-mail адресов
  • Исправлена проверка Icloud

Парсинг istio.com
Анализ текстов на сервисе istio.com (тошнота, водность, словари, тематика, статистика...)
  • Исправлено получение информации
  • Добавлена возможность выбора способа получения текста со страниц: HTML::TextExtractor или HTML::ArticleExtractor
  • Небольшая оптимизация кода

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу
  • Обновление в связи с изменениями на ресурсе

Проверка категории сайтов через сервис cyren.com
Проверка категории сайтов через сервис https://www.cyren.com/
  • Адаптация к изменениям на источнике
  • Вместо Util::ReCaptcha2 теперь Util::ReCaptcha3


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


# Чт Июн 13, 2024 4:59 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера Social::Instagram::Post и в качестве запросов принимает ссылку на пост типа Video/Reel.


Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.


Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов


# Пн Июн 24, 2024 5:44 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
1.2.2347 - 2 новых парсера WordCraft и Instagram Search, поддержка puzzle каптчи в Яндексе



Улучшения
  • Добавлены новые парсеры:
    • SE::Yandex::WordCraft - это часть сервиса Яндекс Вебмастер, с помощью которого вы можете подобрать целевые запросы для продвижения и рекламы, учитывая популярность и конкурентную среду
    • Social::Instagram::Search - поиск профилей, тегов, локаций по ключевым словам в Instagram
  • Изменения в SE::Yandex:
    • добавлена поддержка новой puzzle каптчи, подробнее здесь и здесь
    • реализована возможность парсить через браузер, подробнее здесь
  • В Social::Instagram::Post добавлен сбор ссылок на видео
  • В Maps::Yandex добавлен вывод статуса закрытия организации
  • В Check::RosKomNadzor добавлена поддержка реестра nap.rkn.gov.ru

Исправления в связи с изменениями в выдаче
  • Исправлено получение картинки каптчи в Check::RosKomNadzor, а также в целом исправлена его работа
  • Исправлена ошибка SC parameter was found в SE::Startpage
  • Исправлена работа SE::Yandex::Video
  • Исправлена ошибка определения регистрации доменов .au в Net::Whois
  • Shop::Yandex::Market, SE::Google::Images, SEDuckDuckGo

Исправления
  • Исправлено авторазгадывание в Util::Turnstile



# Чт Июл 04, 2024 1:52 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Сборник статей #19: проверка наличия контента на странице и уведомления в Telegram

Представляем 19-й сборник статей, в котором содержатся две статьи от нашего пользователя @Reset: определение наличия контента на странице с выводом в таблицу и уведомление о выполненном задании в Telegram.

Как определить наличие контента в теле страницы и вывести в таблицу
В качестве примера рассмотрено определение наличия некоторых модулей на сайтах Wordpress и его легко можно адаптировать под аналогичные задачи.


Уведомление об выполненном задании в Telegram
Ранее мы уже публиковали способ получения уведомлений о завершении работы задания через Цепочку заданий. А в этой статье показано как это можно сделать через PHP скрипт.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей


# Чт Июл 18, 2024 7:35 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Дайджест новостей A-Parser + акция на Premium прокси

Парсим базу для XRumer: медленно, но верно
Новая статья от нашего пользователя @Reset о сборе базы форумов для Хрумер.


Парсер всех видео с Youtube канала
Новый парсер в Каталоге, позволяющий собирать списки видео (с их характеристиками) из Youtube каналов.


Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц с помощью сервиса PageSpeed Insights.


Акция на Premium прокси
Только до конца июля 20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт
  • Proxies Premium 20 Gb / 1 week - $34 $27.20
  • Proxies Premium 50 Gb / 1 week - $75 $60
  • Proxies Premium 100 Gb / 1 week - $140 $112
  • Proxies Premium 200 Gb / 1 week - $260 $208
  • Proxies Premium 500 Gb / 1 week - $600 $480
  • Proxies Premium 50 Gb / 1 month - $95 $76
  • Proxies Premium 100 Gb / 1 month - $170 $136
  • Proxies Premium 300 Gb / 1 month - $450 $360
  • Proxies Premium 500 Gb / 1 month - $650 $520
Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-JULY-20%-OFF в Личном кабинете на a-parser.com


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


# Пн Июл 29, 2024 7:44 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Дайджест новостей A-Parser

Парсинг блока Интересно узнать из поисковой выдачи Яндекс
Новый пресет для получения данных из блока Интересно узнать поисковой выдачи Яндекса.


Парсер новостей с newsapi.org

Новый парсер в Каталоге для парсинга новостей с newsapi.org по ключевым словам через официальное API.


Подсказки amazon.com
Обновление парсера подсказок торговой площадки amazon.com.
  • Обновлен url запроса
  • Обновлена обработка результата


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

# Чт Авг 08, 2024 3:28 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Видео урок: парсер новостей с newsapi.org

Новое видео по работе с A-Parser от DIM STUDIO в котором показан обзор парсера новостей с newsapi.org.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!



# Пн Авг 19, 2024 2:47 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
Дайджест новостей A-Parser

Парсер t-online
Парсер для сбора результатов выдачи и связанных ключевых слов из поисковой системы t-online.


Проверка категории сайтов через сервис cyren.com
Обновление парсера для проверки категории сайтов через сервис cyren.com
  • Адаптация к изменениям на источнике


Парсер copart.com
Обновление парсера аукциона автомобилей copart.com
  • Добавлена возможность парсить изображения



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



# Чт Авг 29, 2024 3:02 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 272Ответить с цитатой
1.2.2396 - новый парсер Util::SMS, улучшения во встроенных парсерах + акция на Premium прокси



Улучшения
  • Добавлен новый парсер Util::SMS - парсер для получения кодов из смс
  • В Util::AntiGate добавлена возможность остановки всего задания при получении сообщения о низком балансе на сервисе разгадывания каптч
  • В HTML::EmailExtractor добавлен параметр Search URL encoded e-mails
  • В парсерах OpenAI::* добавлена опция API domain, которая позволяет задать свой домен для API запросов
  • В Shop::Amazon добавлен сбор количества продаж
  • В Maps::Google добавлен сбор booking link (данные о сервисе записи)
  • В HTML::ArticleExtractor теперь доступно больше переменных, они полностью наследуются из Net::HTTP
  • Обновлен список яыков в DeepL::Translator
  • Обновлен список моделей в OpenAI::ChatGPT
  • Добавлен инструмент tools.task.stop(), который позволяет останавливать выполнение задания в любой момент
  • CapSolver для каптч Turnstile теперь не требует передачи прокси<
  • Добавлена поддержка сервиса botlab.me в Util::AntiGate

Исправления в связи с изменениями в выдаче
  • Изменения в SE::Yandex::Register, подробнее тут
  • В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по логин-паролю
  • Исправлена работа Rank::MOZ
  • Исправлена работа Util::Turnstile в режиме Auto
  • В Shop::Wildberries::ProductInfo исправлена работа с некоторыми видами запросов
  • Исправлен парсинг People also ask и Related keywords в SE::Google
  • Частично исправлено получение количества товаров в Shop::Wildberries::ProductsList

Исправления
  • Исправлен обход защиты Cloudflare
  • Исправлено произвольное зависание в Maps::Yandex
  • В Shop::Wildberries::ProductInfo переменная $data теперь корректно заполняется
  • В SE::Yandex::WordCraft переименован результат $query в массивах $uqa и $uqg
  • Исправлен баг из-за которого в Общем формате результатов не происходил сброс результатов при нажатии кнопки сброса
  • Исправлена работа с прокси в связке Util::SMS + SE::Yandex::Register

Акция на Premium прокси
20% скидка на все пакеты
премиум прокси от 20 до 500 гигабайт
  • Proxies Premium 20 Gb / 1 week -$34 $27.20
  • Proxies Premium 50 Gb / 1 week - $75 $60
  • Proxies Premium 100 Gb / 1 week - $140 $112
  • Proxies Premium 200 Gb / 1 week - $260 $208
  • Proxies Premium 500 Gb / 1 week - $600 $480
  • Proxies Premium 50 Gb / 1 month - $95 $76
  • Proxies Premium 100 Gb / 1 month - $170 $136
  • Proxies Premium 300 Gb / 1 month -$450 $360
  • Proxies Premium 500 Gb / 1 month - $650 $520
Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-20%-OFF в Личном кабинете на a-parser.com



Новая тема Написать ответ    ГЛАВНАЯ ~ РЕКЛАМА И ОБЪЯВЛЕНИЯ
 На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 ... 12, 13, 14, 15, 16, 17, 18, 19, 20, 21
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.