Как чекать свободные домены, кроме whois-сервисов? > ТЕХНИЧЕСКИЕ ВОПРОСЫ

Как чекать свободные домены, кроме whois-сервисов?

# Пт Июл 25, 2014 11:59 amYabuti Зарег.: 28.11.2008 ; Сообщ.: 16263

Всем привет!
Подскажите, как можно чекать домены на занятость, кроме GET\POST-запросов к whois-сервисам?

А то у них лимиты, много не почекаешь.

Где-то давно я читал о чекинге через DNS-записи или еще как, сейчас уже не помню, поэтому и создал топик.

Большое спасибо!
Drinks or Beer

# Пт Июл 25, 2014 1:56 pmShkiff Зарег.: 09.03.2009 ; Сообщ.: 3227

Ответить с цитатой

Прокси снимает лимиты или http://www.scrapebox.com/domain-availability-checker, но тоже под прокси помоему.

вот еще http://dnaz.net/

# Пт Июл 25, 2014 4:05 pmvkusnoserver Зарег.: 01.05.2011 ; Сообщ.: 465

Ответить с цитатой

Именно на занятость домены кроме как через whois никак не прочекать.

Если речь идет о резолве, то самое простое на PHP:

Код:

if (checkdnsrr($domain, 'A')) {
...
}

Тыц

Если речь все таки о хуизе, то можно использовать сторонние API, чтобы не упираться в лимиты. Например: http://www.whoisxmlapi.com/ (XML & JSON, 500 запросов бесплатно)

В остальном, если процессите не десятки тысяч доменов, подойдут готовые классы:
1. PHP: http://www.nott.org/blog/php-whois-script.html
2. Python: https://code.google.com/p/pywhois/
3. Ruby: https://github.com/weppos/whois (пример реализации: https://www.robowhois.com/)

Самый простой способ обойти лимиты - взять несколько впс-соксов и поставить случайные лимиты по 10-20 секунд со сменой сокса через 5-10 минут. Я так отчекал больше 10к доменов как-то.

# Пт Июл 25, 2014 4:16 pmYabuti Зарег.: 28.11.2008 ; Сообщ.: 16263

Ответить с цитатой

Shkiff, vkusnoserver, большое спасибо!
Мне много надо прочекать, 70к доменов, видимо, без прокси никак, т.к. NS\A записи могут отсутствовать даже у зареганных доменов.
Drinks or Beer

# Пн Авг 11, 2014 10:04 amceber Зарег.: 13.05.2010 ; Сообщ.: 4290

Ответить с цитатой

Цитата:

Подскажите, как можно чекать домены на занятость, кроме GET\POST-запросов к whois-сервисам?

Можно взять список зоны и проверить там. Если домена нет, то он свободен. Или просто перейти по ссылке. Если сервер не найден, то велика вероятность, что он не занят.

# Пн Авг 11, 2014 10:39 amYabuti Зарег.: 28.11.2008 ; Сообщ.: 16263

Ответить с цитатой

ceber, спасибо, отличный способ, как-то я не догадался это сделать раньше :thup:

# Пн Авг 11, 2014 11:03 amexolon Зарег.: 22.11.2007 ; Сообщ.: 2397

Ответить с цитатой

Естественно, что сначал резолв, а оставшиеся уже хуиз.

Новая тема	Написать ответ	ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.