Как за час сделать уникальный сервис (поиск интервью)
Новая тема Написать ответ
# Ср Окт 31, 2007 4:06 amBrokenBrake Зарег.: 16.02.2007 ; Сообщ.: 3432Ответить с цитатой
Почти два месяца назад участнику форума с ником docker пришла замечательная идея:
Цитата:
BrokenBrake, идея - сделай еще одну тематическую трубу со всеми интервью с блогов Подписчиков 300-400 наберешь однозначно.


Идея эта долго дозревала в голове, но вот, наконец, вчера она оформилась, вспышка просветления ) и всего лишь час потребовался для осуществления задуманного, благодаря Yahoo Pipes.

Сервис находится здесь.

Хотите узнать, как он устроен? Просто копируйте трубу в свой аккаунт, и препарируйте. Я же попробую рассказать об общих принципах.

Суть состоит в отборе среди множества ссылок по запросу в гугловском блогопоиске «key+интервью» именно тех, которые ведут на интервью, а не просто на страничку, содержащую это слово. Очевидно, что на хорошее интервью должна быть какая-то реакция в блогосфере. Эта мысль и легла в основу сервиса.

Когда вы вводите свой запрос, к этому запросу добавляется +интервью, и всё это дело отправляется на гуглопоиск, с каждым результатом которого (в XML-формате, а именно в Atom) выполняется ещё одно дополнительное действие: в том же блогопоиске производится поиск ссылок на страничку (для этого используется отдельная труба-сервис), и чем больше будет этих ссылок, тем больший рейтинг присваивается этому результату.

Повышение релевантности достигается ещё одной дополнительной примочкой. Очевидно, что если мы составим запрос не просто как «key+интервью», но «key+intitle:интервью» (на языке запросов Google), то вероятность нахождения именно интервью будет выше. Поэтому для таких результатов рейтинг автоматически увеличивается на одну еденицу. То есть если ссылка на страницу по такому запросу будет найдена всего одна, рейтинг будет равен двум.

Далее уже просто модули сортировки результатов, отсеивания лишнего и т. п. Думаю, вышло очень неплохо, сам вчера баловался своим сервисом с полчаса )

Обратите внимание, на любой поток, получающийся в результате вашего запроса, вы можете подписаться посредством email-рассылки или RSS, в том числе с помощью Google Reader и т. п. Таким образом вы сможете всегда быть в курсе появления новых интервью по интересующей вас теме.

Другое описание я вчера оставил в блоге, но тут вроде вышло даже подробнее и лучше. Не зря говорят, что утро вечера мудренее )

P.S. Есть, кстати, некоторые недостатки, и я сейчас вижу, как можно было ещё более повысить релевантность и количество найденных результатов, но уже лень это осуществлять, пусть остаётся так.
# Ср Окт 31, 2007 8:58 amRabbit Зарег.: 01.08.2005 ; Сообщ.: 19787Ответить с цитатой
BrokenBrake, :thup: прикольно получилось Smile
# Ср Окт 31, 2007 10:56 amLi-Hua Зарег.: 25.12.2005 ; Сообщ.: 11544Ответить с цитатой
довольно удобно кстати получилось
# Ср Окт 31, 2007 11:18 amDolphin Зарег.: 23.07.2007 ; Сообщ.: 1326Ответить с цитатой
BrokenBrake, молодчина:thup: , отличный сервис получился
# Ср Окт 31, 2007 11:47 amBrokenBrake Зарег.: 16.02.2007 ; Сообщ.: 3432Ответить с цитатой
А пайпсы, кстати, мне каждый день приятные сюрпризы преподносят ) Вот только что ломал голову над сложной комбинацией модулей с регулярными выражениями, чтобы изменять дату на вчерашнюю... а оказалось, что можно просто написать yesterday в модуле Date Builder. Испытываю всё более сильную симпатию к яхушникам. Такую охренительную штуку замутили!

P.S. Три дня назад парился над фидом, который в оригинале идёт без pubDate, делал сложную конструкцию для подстановки дат с других фидов. Теперь понимаю, что достаточно было поставить Date Builder и написать в нём today )
# Ср Окт 31, 2007 6:22 pmdocker Зарег.: 20.05.2007 ; Сообщ.: 756Ответить с цитатой
Подписался на результаты поиска по рсс, и что то не могу разобраться, по какому принципу он выдает его. По дате, рейтингу? Будут ли туда попадать сразу новые интервью? Можно сделать выдачу полнотекстовой, а не только выдержки?
# Ср Окт 31, 2007 7:25 pmBrokenBrake Зарег.: 16.02.2007 ; Сообщ.: 3432Ответить с цитатой
docker, так ты сам можешь выбрать приоритетную сортировку. По умолчанию сортируется по рейтингу, причем, если две ссылки имеют одинаковый рейтинг, выше будет более новая.
Если же ты для параметра сортировки ставишь двойку, то будут всегда самые новые наверху.
Полнотекстовую выдачу теоретически сделать можно, но я не буду этим заниматься, наверно. Сложновато.

Да, кстати, не рекомендую при сортировке по дате ставить рейтинг 0, качество будет не высоким. Чем выше рейтинг - тем выше качество (обычно).
# Ср Окт 31, 2007 8:17 pmChin Зарег.: 29.01.2007 ; Сообщ.: 2890Ответить с цитатой
Очень хороший пример информационного паразитирования Smile
BrokenBrake, не докапывайся к "паразитированию", посмотри на "очень хороший" Wink
А то опять скажут, что я до кого-то доебался r5
И кстати, а почему ты только пайпсы юзаешь в своих сервисах? Это намек на полезное для всех расширение функционала. Wink
# Ср Окт 31, 2007 9:11 pmBrokenBrake Зарег.: 16.02.2007 ; Сообщ.: 3432Ответить с цитатой
Chin, да мы тут все маленько паразиты, я всё понимаю ) А первейшие тогда - поисковые системы.

Цитата:
Это намек на полезное для всех расширение функционала.


Честно говоря не понял, про что ты. Пайпсы юзаю, потому что это просто, интересно и не нужно заморачиваться с хостингами, скриптами и т. д. Классный же сервис, правда? Кстати, скоро ещё пару вкусняшек покажу.
# Ср Окт 31, 2007 10:00 pmdocker Зарег.: 20.05.2007 ; Сообщ.: 756Ответить с цитатой
Цитата:
Пайпсы юзаю, потому что это просто, интересно и не нужно заморачиваться с хостингами, скриптами и т. д. Классный же сервис, правда? Кстати, скоро ещё пару вкусняшек покажу.


Все никак не дойдут руки самому посмотреть с чем едят эти пайпсы. А то смотрю на тебя, и вижу что это реально полезная штука. Показвай, что там еще интересного Smile
# Ср Окт 31, 2007 10:20 pmChin Зарег.: 29.01.2007 ; Сообщ.: 2890Ответить с цитатой
BrokenBrake, намек был на то, что существует не только пайпс Smile
# Ср Окт 31, 2007 10:33 pmBrokenBrake Зарег.: 16.02.2007 ; Сообщ.: 3432Ответить с цитатой
Chin, лучше пока ещё ничего не видел, честно говоря. Было бы интересно посмотреть, если есть нечто превосходящее Yahoo Pipes своими возможностями.
Я, правда, зарегистрирован в гугловском якобы аналоге - Google Mashup, но поскольку пайпсы полностью оправдывают все мои ожидания, я там даже в админку ещё ни разу не входил.

docker писал(а):
Показвай, что там еще интересного


Через полчасика-час уже покажу кое что )
# Чт Ноя 01, 2007 3:31 pmBrokenBrake Зарег.: 16.02.2007 ; Сообщ.: 3432Ответить с цитатой
Цитата:
Через полчасика-час уже покажу кое что )


Дольше вышло, как обычно. Зато сервис получился офигительный. Показываю.

Цитата:
Все никак не дойдут руки самому посмотреть с чем едят эти пайпсы. А то смотрю на тебя, и вижу что это реально полезная штука. Показвай, что там еще интересного


Что показать следующее, что более интересно?
Сервис парсинга результатов выдачи поисковиков (со склейкой нескольких сниппетов)?
Создание мультифида, подбирающего наилучшие результаты с нескольких партнерок для постов робоблогов?
Получение XML с любого сайта?
Парсинг полных сообщений из обрезанных фидов? Wink
# Чт Ноя 01, 2007 8:43 pmdocker Зарег.: 20.05.2007 ; Сообщ.: 756Ответить с цитатой
1. Парсинг полных сообщений из обрезанных фидов
2. Создание мультифида, подбирающего наилучшие результаты с нескольких партнерок для постов робоблогов
3. Получение XML с любого сайта

r5
От души оценил пост на все 5 баллов, которые мне доступны. Заслужил Smile
Новая тема Написать ответ    ГЛАВНАЯ ~ СОЦИАЛЬНЫЕ СЕТИ И БЛОГИ
 
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.