Как чекать свободные домены, кроме whois-сервисов?
Новая тема Написать ответ
# Пт Июл 25, 2014 11:59 amYabuti Зарег.: 28.11.2008 ; Сообщ.: 16263Ответить с цитатой
Всем привет!
Подскажите, как можно чекать домены на занятость, кроме GET\POST-запросов к whois-сервисам?

А то у них лимиты, много не почекаешь.

Где-то давно я читал о чекинге через DNS-записи или еще как, сейчас уже не помню, поэтому и создал топик.

Большое спасибо!
Drinks or Beer
# Пт Июл 25, 2014 1:56 pmShkiff Зарег.: 09.03.2009 ; Сообщ.: 3227Ответить с цитатой
Прокси снимает лимиты или http://www.scrapebox.com/domain-availability-checker, но тоже под прокси помоему.

вот еще http://dnaz.net/
# Пт Июл 25, 2014 4:05 pmvkusnoserver Зарег.: 01.05.2011 ; Сообщ.: 465Ответить с цитатой
Именно на занятость домены кроме как через whois никак не прочекать.

Если речь идет о резолве, то самое простое на PHP:
Код:
if (checkdnsrr($domain, 'A')) {
    ...
}


Тыц

Если речь все таки о хуизе, то можно использовать сторонние API, чтобы не упираться в лимиты. Например: http://www.whoisxmlapi.com/ (XML & JSON, 500 запросов бесплатно)

В остальном, если процессите не десятки тысяч доменов, подойдут готовые классы:
1. PHP: http://www.nott.org/blog/php-whois-script.html
2. Python: https://code.google.com/p/pywhois/
3. Ruby: https://github.com/weppos/whois (пример реализации: https://www.robowhois.com/)

Самый простой способ обойти лимиты - взять несколько впс-соксов и поставить случайные лимиты по 10-20 секунд со сменой сокса через 5-10 минут. Я так отчекал больше 10к доменов как-то.
# Пт Июл 25, 2014 4:16 pmYabuti Зарег.: 28.11.2008 ; Сообщ.: 16263Ответить с цитатой
Shkiff, vkusnoserver, большое спасибо!
Мне много надо прочекать, 70к доменов, видимо, без прокси никак, т.к. NS\A записи могут отсутствовать даже у зареганных доменов.
Drinks or Beer
# Пн Авг 11, 2014 10:04 amceber Зарег.: 13.05.2010 ; Сообщ.: 4290Ответить с цитатой
Цитата:
Подскажите, как можно чекать домены на занятость, кроме GET\POST-запросов к whois-сервисам?


Можно взять список зоны и проверить там. Если домена нет, то он свободен. Или просто перейти по ссылке. Если сервер не найден, то велика вероятность, что он не занят.
# Пн Авг 11, 2014 10:39 amYabuti Зарег.: 28.11.2008 ; Сообщ.: 16263Ответить с цитатой
ceber, спасибо, отличный способ, как-то я не догадался это сделать раньше :thup:
# Пн Авг 11, 2014 11:03 amexolon Зарег.: 22.11.2007 ; Сообщ.: 2397Ответить с цитатой
Естественно, что сначал резолв, а оставшиеся уже хуиз.
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ
 
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.