A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 ... , 13, 14, 15, 16, 17, 18, 19, 20, 21, 22  След.
Новая тема Написать ответ
# Пн Апр 01, 2024 5:15 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
1.2.2262 - новые опции во встроенных парсерах, адаптация к изменениям на источниках данных



Улучшения
  • В SE::Google:
    • добавлен параметр Empty totalcount is error, детальнее тут
    • добавлен сбор тегов (массив $tags.$i.tag)
  • SE::Yandex - улучшен парсинг сниппета генеративного ответа
  • В парсере OpenAI::ChatGPT обновлены модели и добавлен параметр Another model name
  • В SE::Yandex::WordStat добавлена опция Wordstat 2 parse all table data, детальнее тут
  • В SE::YouTube::Video расширен перечень собираемых данных, детальнее тут
  • В SE::You добавлена возможность задавать кол-во страниц для парсинга ссылок
  • Следующие настройки перенесены из опций в параметры парсера:
    SE::Google: Parse people also ask
    SE::Yandex: Parse Quick answers и Parse generative answer


Исправления в связи с изменениями в выдаче
  • В SE::Yandex исправлена работа с каптчами
  • Исправлен парсинг дат в SE::Google
  • Исправлен парсинг быстрых ответов в SE::Yandex
  • В SE::Yandex::WordStat исправлены ошибки в работе с WordStat 2
  • Исправлена работа Shop::Wildberries::ProductsList с некоторыми запросами
  • Исправлен сбор $related в SE::Yahoo
  • В SE::Yandex::Direct исправлен парсинг доменов для некоторых случаев
  • Исправлена ошибка Unexpected token в Social::TikTok::Profile
  • Исправлен сбор $views в SE::Bing::Video
  • В SE::You исправлен парсинг ссылок на превью
  • В Shop::Yandex::Market исправлен парсинг $products.$i.imagelink, $products.$i.rating, $products.$i.commentscount
  • Исправлена ошибка при парсинге больше 5-ти страниц в SE::Ask
  • Адаптация к изменениям на источниках: Shop::Amazon, Shop::AliExpress, Shop::Yandex::Market, SecurityTrails::IP


Исправления
  • Исправлена проблема с отображением сохраненных заданий
  • Исправлена работа опции Collect full region в Maps::Google


# Чт Апр 11, 2024 3:56 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Сборник рецептов #63: конвертация Youtube видео в статьи, парсер Шедеврум, парсер Pinterest Trends

63-й сборник рецептов, в котором содержатся: парсер для конвертации Youtube видео в полноценные HTML страницы с картинкой и текстовым описанием содержимого видео, парсер картинок из shedevrum.ai и парсер Pinterest Trends.

Конвертация Youtube видео в HTML страницы
Пример парсера, который, используя сервисы ИИ, создает полноценные HTML страницы, содержащие тематическую картинку и текст с разметкой, который дублирует содержание видео. На иллюстрации для примера показана статья, сгенерированная по нашему недавнему видео о Premium прокси.


Парсер картинок с Шедеврум с дополнительными данными
Парсер картинок с дополнительными данными по ключевым словам из сервиса shedevrum.ai. Можно парсить ссылки на картинки, promptы по которым генерировались эти картинки, описание и т.д.


Парсер Pinterest Trends
Сбор данных о трендах в Pinterest по ключевым словам с возможностью выбора региона и даты. Собираются данные о популярности и демографии ключевого слова, а также связанные ключевые слова и популярные пины.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов


# Пн Апр 22, 2024 3:02 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Генерация картинок ruDALL-E
Генерация картинок по текстовым запросам через нейросеть ruDALL-E. Присутствует возможность выбирать модель и стиль генерации.
  • Добавлена опция Save image, позволяет отключить сохранение изображения в файл, по-умолчанию включена
  • Изображение теперь доступно в переменной $data

Парсинг отзывов Google Play Market
Данный парсер собирает комментарии (ссылка на аватар, рейтинг и имя юзера, а также текст отзыва) к приложению в Google Play Market.
  • Исправлен парсинг
  • Парсер переписан на TS (API v2)
  • Добавлена возможность указания количества страниц парсинга

Naver Ads
Парсер рекламных объявлений из Naver по ключевым словам с возможностью указать количество страниц парсинга.
  • Исправлен сбор всех результатов
  • Адаптация к изменениям на источнике

JS::TextFromSE
Объединение парсера поисковой выдачи и парсера текста в одном JS парсере на примере решения задачи по парсингу текстов.
  • Парсер переписан на TypeScript API v2

Парсер Aliexpress товаров
Парсер, позволяющий получить информацию о товаре на Aliexpress, подавая на запрос ссылку на товар.
  • Адаптация к изменениям на источнике
  • $delivery теперь массив
  • $formattedQuery был удален
  • Вместо $html исходный код страницы сохраняется в $data


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


# Чт Май 02, 2024 4:45 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Сборник статей #18: вывод в CSV, парсинг номеров телефонов, обзор Collect full region в Maps::Google

Представляем 18-й сборник статей, в который вошли статья о выводе результатов в CSV таблицы, статья об универсальном парсинге номеров телефонов и статья с обзором функции Collect full region парсера Google Maps.

Всё о выводе результатов в CSV (табличное представление результатов)
Табличное представление результатов - это очень популярный вид форматирования данных, собираемых А-Парсером. И чаще всего для этого используется именно формат CSV. В этой статье описаны все варианты и нюансы работы с CSV в контексте A-Parser. А также рассказано чем и как правильно обрабатывать CSV файлы.


Универсальный парсер телефонов
Как известно, номера телефонов проблематично парсить из-за отсутствия единого формата их записи. В этой статье мы поделимся одним из методов универсального парсинга номеров телефонов, а также заодно покажем как можно использовать npm модули без написания JS парсеров.


Детальный обзор Collect full region в Maps::Google
Детальное описание функции Collect full region в парсере Google Карт, варианты ее настройки, рекомендации для наибольшей производительности и сравнение скорости работы парсера на разных прокси.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей

# Пн Май 13, 2024 4:50 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
1.2.2306 - новый парсер подсказок Google Trends, новые опции в существующих парсерах, исправления



Улучшения
  • Добавлен новый парсер SE::Google::Trends::Suggest - сбор подсказок Google Trends
  • Улучшена очистка ссылок в SE::Bing
  • В парсер DeepL::Write добавлен выбор стиля и тональности, а также возможность использовать режим исправления
  • В SE::Yandex добавлен вывод "пропущенных слов"
  • В Rank::MajesticSEO добавлен параметр Additional headers for requests without Chrome, который позволяет задать заголовки для запросов без без браузера
  • В SE::Yandex::WordStat::ByDate добавлена поддержка нового Wordstat 2
  • В SE::Yandex::Register добавлена новая опция OnlineSIM domain которая дает возможность указать домен который будет использоваться в API запросах к OnlineSIM

Исправления в связи с изменениями в выдаче
  • Rank::KeysSo - исправлена ошибка заполнения некоторых результатов
  • Исправлен парсинг $owner_link и $owner_name в парсере Social::Instagram::Post
  • Исправлен парсинг $thumb в Social::Instagram::Profile
  • Исправлен парсинг $serp.$i.social в Maps::Yandex
  • Исправлен парсинг комментариев в SE::YouTube::Video
  • Парсер Rank::Ahrefs::KeywordGenerator адаптирован к изменениям на источнике
  • SE::Yahoo, Shop::Wildberries::ProductInfo, SE::Google::Images, Rank::MajesticSEO, SE::Dogpile::Images, SE::DuckDuckGo, Cloudflare::Radar

Исправления
  • Исправлены падения парсера при использовании определенных запросов в HTML::EmailExtractor
  • Исправлена работа повторных попыток для получения robots.txt в Check::BackLink
  • Исправлен режим Bulk mode в парсерах SE::Google::KeywordPlanner::*


# Чт Май 23, 2024 2:33 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Видео урок: поиск Телеграм каналов через Google и их сортировка

2 новых видео урока по работе с A-Parser от DIM STUDIO в которых показан способ поиска Телеграм каналов через поиск в Google и сортировка собранных каналов.

[video]https://youtu.be/3Czb5SuKztY[/video]

[video]https://youtu.be/39ViWwp3ot8[/video]

Плейлист со всеми видео уроками от [b]DIM STUDIO[/b]

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!

# Пн Июн 03, 2024 5:03 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Обновленные пресеты в каталоге A-Parser

Обновление пресетов в Каталоге примеров A-Parser

Google Indexing API
Парсер для добавления или удаления страниц сайта в Google через Indexing API
  • Исправлена ошибка "Cannot init Parser: Error: EISDIR: illegal operation on a directory, read at Object.readSync"
  • Изменения в логике обработки запросов

JS::MailValidator
Проверка существования e-mail адресов
  • Исправлена проверка Icloud

Парсинг istio.com
Анализ текстов на сервисе istio.com (тошнота, водность, словари, тематика, статистика...)
  • Исправлено получение информации
  • Добавлена возможность выбора способа получения текста со страниц: HTML::TextExtractor или HTML::ArticleExtractor
  • Небольшая оптимизация кода

Парсер отзывов Wildberries Reviews
Сбор отзывов по товарам с wildberries.ru в csv таблицу
  • Обновление в связи с изменениями на ресурсе

Проверка категории сайтов через сервис cyren.com
Проверка категории сайтов через сервис https://www.cyren.com/
  • Адаптация к изменениям на источнике
  • Вместо Util::ReCaptcha2 теперь Util::ReCaptcha3


Еще больше различных парсеров и пресетов в нашем Каталоге!
Присылайте свои идеи для новых парсеров сюда, самые интересные и востребованные мы обязательно реализуем!


# Чт Июн 13, 2024 4:59 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Сборник рецептов #64: скачивание видео из Instagram, проверка e-mail и переводчик Libre Translate

64-й сборник рецептов, в котором представлены парсер для скачивания видео из Instagram, пресет для проверки e-mail в сервисе EmailRep и парсер переводчика Libre Translate.

Instagram Reels Downloader
Парсер для скачивания видео из Instagram. Работает на основе встроенного парсера Social::Instagram::Post и в качестве запросов принимает ссылку на пост типа Video/Reel.


Проверка e-mail адресов в сервисе EmailRep
EmailRep - это система парсеров, сканеров и дополнительных сервисов, которая собирает данные об адресах электронной почты, доменах и интернет-персонах. Сервис использует сотни точек данных из профилей социальных сетей, профессиональных сетевых сайтов, утечек учетных данных в Darknet, утечек данных, наборов для фишинга, фишинговых писем, списков спама, открытых почтовых ретрансляторов, спам-ловушек, возраста и репутации домена, доставляемости и многого другого для оценки адреса электронной почты.


Парсер переводчика Libre Translate
Бесплатный API машинного перевода с открытым исходным кодом. В отличие от других API, он не полагается на проприетарных поставщиков, таких как Google или Azure. Вместо этого его механизм перевода основан на библиотеке Argos Translate с открытым исходным кодом.



Еще больше различных рецептов в нашем Каталоге!
Предлагайте ваши идеи для новых парсеров здесь, лучшие будут реализованы и опубликованы.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники рецептов


# Пн Июн 24, 2024 5:44 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
1.2.2347 - 2 новых парсера WordCraft и Instagram Search, поддержка puzzle каптчи в Яндексе



Улучшения
  • Добавлены новые парсеры:
    • SE::Yandex::WordCraft - это часть сервиса Яндекс Вебмастер, с помощью которого вы можете подобрать целевые запросы для продвижения и рекламы, учитывая популярность и конкурентную среду
    • Social::Instagram::Search - поиск профилей, тегов, локаций по ключевым словам в Instagram
  • Изменения в SE::Yandex:
    • добавлена поддержка новой puzzle каптчи, подробнее здесь и здесь
    • реализована возможность парсить через браузер, подробнее здесь
  • В Social::Instagram::Post добавлен сбор ссылок на видео
  • В Maps::Yandex добавлен вывод статуса закрытия организации
  • В Check::RosKomNadzor добавлена поддержка реестра nap.rkn.gov.ru

Исправления в связи с изменениями в выдаче
  • Исправлено получение картинки каптчи в Check::RosKomNadzor, а также в целом исправлена его работа
  • Исправлена ошибка SC parameter was found в SE::Startpage
  • Исправлена работа SE::Yandex::Video
  • Исправлена ошибка определения регистрации доменов .au в Net::Whois
  • Shop::Yandex::Market, SE::Google::Images, SEDuckDuckGo

Исправления
  • Исправлено авторазгадывание в Util::Turnstile



# Чт Июл 04, 2024 1:52 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Сборник статей #19: проверка наличия контента на странице и уведомления в Telegram

Представляем 19-й сборник статей, в котором содержатся две статьи от нашего пользователя @Reset: определение наличия контента на странице с выводом в таблицу и уведомление о выполненном задании в Telegram.

Как определить наличие контента в теле страницы и вывести в таблицу
В качестве примера рассмотрено определение наличия некоторых модулей на сайтах Wordpress и его легко можно адаптировать под аналогичные задачи.


Уведомление об выполненном задании в Telegram
Ранее мы уже публиковали способ получения уведомлений о завершении работы задания через Цепочку заданий. А в этой статье показано как это можно сделать через PHP скрипт.


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

Все сборники статей


# Чт Июл 18, 2024 7:35 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Дайджест новостей A-Parser + акция на Premium прокси

Парсим базу для XRumer: медленно, но верно
Новая статья от нашего пользователя @Reset о сборе базы форумов для Хрумер.


Парсер всех видео с Youtube канала
Новый парсер в Каталоге, позволяющий собирать списки видео (с их характеристиками) из Youtube каналов.


Анализ скорости загрузки и юзабилити сайтов
Обновление парсера для измерения скорости загрузки страниц с помощью сервиса PageSpeed Insights.


Акция на Premium прокси
Только до конца июля 20% скидка на все пакеты премиум прокси от 20 до 500 гигабайт
  • Proxies Premium 20 Gb / 1 week - $34 $27.20
  • Proxies Premium 50 Gb / 1 week - $75 $60
  • Proxies Premium 100 Gb / 1 week - $140 $112
  • Proxies Premium 200 Gb / 1 week - $260 $208
  • Proxies Premium 500 Gb / 1 week - $600 $480
  • Proxies Premium 50 Gb / 1 month - $95 $76
  • Proxies Premium 100 Gb / 1 month - $170 $136
  • Proxies Premium 300 Gb / 1 month - $450 $360
  • Proxies Premium 500 Gb / 1 month - $650 $520
Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-JULY-20%-OFF в Личном кабинете на a-parser.com


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.


# Пн Июл 29, 2024 7:44 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Дайджест новостей A-Parser

Парсинг блока Интересно узнать из поисковой выдачи Яндекс
Новый пресет для получения данных из блока Интересно узнать поисковой выдачи Яндекса.


Парсер новостей с newsapi.org

Новый парсер в Каталоге для парсинга новостей с newsapi.org по ключевым словам через официальное API.


Подсказки amazon.com
Обновление парсера подсказок торговой площадки amazon.com.
  • Обновлен url запроса
  • Обновлена обработка результата


Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.

# Чт Авг 08, 2024 3:28 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Видео урок: парсер новостей с newsapi.org

Новое видео по работе с A-Parser от DIM STUDIO в котором показан обзор парсера новостей с newsapi.org.



Плейлист со всеми видео уроками от DIM STUDIO

Оставляйте комментарии и подписывайтесь на наши каналы на YouTube: A-Parser и DIM STUDIO!



# Пн Авг 19, 2024 2:47 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
Дайджест новостей A-Parser

Парсер t-online
Парсер для сбора результатов выдачи и связанных ключевых слов из поисковой системы t-online.


Проверка категории сайтов через сервис cyren.com
Обновление парсера для проверки категории сайтов через сервис cyren.com
  • Адаптация к изменениям на источнике


Парсер copart.com
Обновление парсера аукциона автомобилей copart.com
  • Добавлена возможность парсить изображения



Если вы хотите, чтобы мы более подробно раскрыли какой-то функционал парсера, у вас есть идеи для новых статей или вы желаете поделиться собственным опытом использования A-Parser (за небольшие плюшки ) - отписывайтесь здесь.

Подписывайтесь на наш канал на Youtube - там регулярно выкладываются видео с примерами использования A-Parser, а также следите за новостями в Twitter.



# Чт Авг 29, 2024 3:02 pmA-Parser Support Зарег.: 02.06.2013 ; Сообщ.: 279Ответить с цитатой
1.2.2396 - новый парсер Util::SMS, улучшения во встроенных парсерах + акция на Premium прокси



Улучшения
  • Добавлен новый парсер Util::SMS - парсер для получения кодов из смс
  • В Util::AntiGate добавлена возможность остановки всего задания при получении сообщения о низком балансе на сервисе разгадывания каптч
  • В HTML::EmailExtractor добавлен параметр Search URL encoded e-mails
  • В парсерах OpenAI::* добавлена опция API domain, которая позволяет задать свой домен для API запросов
  • В Shop::Amazon добавлен сбор количества продаж
  • В Maps::Google добавлен сбор booking link (данные о сервисе записи)
  • В HTML::ArticleExtractor теперь доступно больше переменных, они полностью наследуются из Net::HTTP
  • Обновлен список яыков в DeepL::Translator
  • Обновлен список моделей в OpenAI::ChatGPT
  • Добавлен инструмент tools.task.stop(), который позволяет останавливать выполнение задания в любой момент
  • CapSolver для каптч Turnstile теперь не требует передачи прокси<
  • Добавлена поддержка сервиса botlab.me в Util::AntiGate

Исправления в связи с изменениями в выдаче
  • Изменения в SE::Yandex::Register, подробнее тут
  • В парсерах SE::Google::KeywordPlanner::* исправлена авторизация по логин-паролю
  • Исправлена работа Rank::MOZ
  • Исправлена работа Util::Turnstile в режиме Auto
  • В Shop::Wildberries::ProductInfo исправлена работа с некоторыми видами запросов
  • Исправлен парсинг People also ask и Related keywords в SE::Google
  • Частично исправлено получение количества товаров в Shop::Wildberries::ProductsList

Исправления
  • Исправлен обход защиты Cloudflare
  • Исправлено произвольное зависание в Maps::Yandex
  • В Shop::Wildberries::ProductInfo переменная $data теперь корректно заполняется
  • В SE::Yandex::WordCraft переименован результат $query в массивах $uqa и $uqg
  • Исправлен баг из-за которого в Общем формате результатов не происходил сброс результатов при нажатии кнопки сброса
  • Исправлена работа с прокси в связке Util::SMS + SE::Yandex::Register

Акция на Premium прокси
20% скидка на все пакеты
премиум прокси от 20 до 500 гигабайт
  • Proxies Premium 20 Gb / 1 week -$34 $27.20
  • Proxies Premium 50 Gb / 1 week - $75 $60
  • Proxies Premium 100 Gb / 1 week - $140 $112
  • Proxies Premium 200 Gb / 1 week - $260 $208
  • Proxies Premium 500 Gb / 1 week - $600 $480
  • Proxies Premium 50 Gb / 1 month - $95 $76
  • Proxies Premium 100 Gb / 1 month - $170 $136
  • Proxies Premium 300 Gb / 1 month -$450 $360
  • Proxies Premium 500 Gb / 1 month - $650 $520
Premium прокси - это возможность быстрого парсинга без бана IP и каптч, с возможностью выбора гео из любой точки мира!

Для оплаты используйте промокод PREMIUM-PROXY-20%-OFF в Личном кабинете на a-parser.com



Новая тема Написать ответ    ГЛАВНАЯ ~ РЕКЛАМА И ОБЪЯВЛЕНИЯ
 На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11 ... , 13, 14, 15, 16, 17, 18, 19, 20, 21, 22  След.
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.