АРМАДА
Как за час сделать уникальный сервис (поиск интервью)
Новая тема Написать ответ

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 4:06 amДобавить в избранноеОтветить с цитатой
Почти два месяца назад участнику форума с ником docker пришла замечательная идея:
Цитата:
BrokenBrake, идея - сделай еще одну тематическую трубу со всеми интервью с блогов Подписчиков 300-400 наберешь однозначно.


Идея эта долго дозревала в голове, но вот, наконец, вчера она оформилась, вспышка просветления ) и всего лишь час потребовался для осуществления задуманного, благодаря Yahoo Pipes.

Сервис находится здесь.

Хотите узнать, как он устроен? Просто копируйте трубу в свой аккаунт, и препарируйте. Я же попробую рассказать об общих принципах.

Суть состоит в отборе среди множества ссылок по запросу в гугловском блогопоиске «key+интервью» именно тех, которые ведут на интервью, а не просто на страничку, содержащую это слово. Очевидно, что на хорошее интервью должна быть какая-то реакция в блогосфере. Эта мысль и легла в основу сервиса.

Когда вы вводите свой запрос, к этому запросу добавляется +интервью, и всё это дело отправляется на гуглопоиск, с каждым результатом которого (в XML-формате, а именно в Atom) выполняется ещё одно дополнительное действие: в том же блогопоиске производится поиск ссылок на страничку (для этого используется отдельная труба-сервис), и чем больше будет этих ссылок, тем больший рейтинг присваивается этому результату.

Повышение релевантности достигается ещё одной дополнительной примочкой. Очевидно, что если мы составим запрос не просто как «key+интервью», но «key+intitle:интервью» (на языке запросов Google), то вероятность нахождения именно интервью будет выше. Поэтому для таких результатов рейтинг автоматически увеличивается на одну еденицу. То есть если ссылка на страницу по такому запросу будет найдена всего одна, рейтинг будет равен двум.

Далее уже просто модули сортировки результатов, отсеивания лишнего и т. п. Думаю, вышло очень неплохо, сам вчера баловался своим сервисом с полчаса )

Обратите внимание, на любой поток, получающийся в результате вашего запроса, вы можете подписаться посредством email-рассылки или RSS, в том числе с помощью Google Reader и т. п. Таким образом вы сможете всегда быть в курсе появления новых интервью по интересующей вас теме.

Другое описание я вчера оставил в блоге, но тут вроде вышло даже подробнее и лучше. Не зря говорят, что утро вечера мудренее )

P.S. Есть, кстати, некоторые недостатки, и я сейчас вижу, как можно было ещё более повысить релевантность и количество найденных результатов, но уже лень это осуществлять, пусть остаётся так.
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

Rabbit
Кролики - это не только ценный мех
Зарегистрирован: 01.08.2005
Сообщений: 19788
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 8:58 amОтветить с цитатой
BrokenBrake, :thup: прикольно получилось Smile
Новое. Прибыльное. Скоро!

Li-Hua
Чинамэн
Зарегистрирован: 25.12.2005
Сообщений: 11547
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 10:56 amОтветить с цитатой
довольно удобно кстати получилось

Dolphin
Гуру
Зарегистрирован: 23.07.2007
Сообщений: 1326
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 11:18 amОтветить с цитатой
BrokenBrake, молодчина:thup: , отличный сервис получился

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 11:47 amОтветить с цитатой
А пайпсы, кстати, мне каждый день приятные сюрпризы преподносят ) Вот только что ломал голову над сложной комбинацией модулей с регулярными выражениями, чтобы изменять дату на вчерашнюю... а оказалось, что можно просто написать yesterday в модуле Date Builder. Испытываю всё более сильную симпатию к яхушникам. Такую охренительную штуку замутили!

P.S. Три дня назад парился над фидом, который в оригинале идёт без pubDate, делал сложную конструкцию для подстановки дат с других фидов. Теперь понимаю, что достаточно было поставить Date Builder и написать в нём today )
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

docker
Профессионал
Зарегистрирован: 20.05.2007
Сообщений: 756
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 6:22 pmОтветить с цитатой
Подписался на результаты поиска по рсс, и что то не могу разобраться, по какому принципу он выдает его. По дате, рейтингу? Будут ли туда попадать сразу новые интервью? Можно сделать выдачу полнотекстовой, а не только выдержки?
Залечи буржуя вусмерть!
И не дай дрочить ему в одиночестве!

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 7:25 pmОтветить с цитатой
docker, так ты сам можешь выбрать приоритетную сортировку. По умолчанию сортируется по рейтингу, причем, если две ссылки имеют одинаковый рейтинг, выше будет более новая.
Если же ты для параметра сортировки ставишь двойку, то будут всегда самые новые наверху.
Полнотекстовую выдачу теоретически сделать можно, но я не буду этим заниматься, наверно. Сложновато.

Да, кстати, не рекомендую при сортировке по дате ставить рейтинг 0, качество будет не высоким. Чем выше рейтинг - тем выше качество (обычно).
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 8:17 pmОтветить с цитатой
Очень хороший пример информационного паразитирования Smile
BrokenBrake, не докапывайся к "паразитированию", посмотри на "очень хороший" Wink
А то опять скажут, что я до кого-то доебался r5
И кстати, а почему ты только пайпсы юзаешь в своих сервисах? Это намек на полезное для всех расширение функционала. Wink

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 9:11 pmОтветить с цитатой
Chin, да мы тут все маленько паразиты, я всё понимаю ) А первейшие тогда - поисковые системы.

Цитата:
Это намек на полезное для всех расширение функционала.


Честно говоря не понял, про что ты. Пайпсы юзаю, потому что это просто, интересно и не нужно заморачиваться с хостингами, скриптами и т. д. Классный же сервис, правда? Кстати, скоро ещё пару вкусняшек покажу.
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

docker
Профессионал
Зарегистрирован: 20.05.2007
Сообщений: 756
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 10:00 pmОтветить с цитатой
Цитата:
Пайпсы юзаю, потому что это просто, интересно и не нужно заморачиваться с хостингами, скриптами и т. д. Классный же сервис, правда? Кстати, скоро ещё пару вкусняшек покажу.


Все никак не дойдут руки самому посмотреть с чем едят эти пайпсы. А то смотрю на тебя, и вижу что это реально полезная штука. Показвай, что там еще интересного Smile
Залечи буржуя вусмерть!
И не дай дрочить ему в одиночестве!

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 10:20 pmОтветить с цитатой
BrokenBrake, намек был на то, что существует не только пайпс Smile

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Ср Окт 31, 2007 10:33 pmОтветить с цитатой
Chin, лучше пока ещё ничего не видел, честно говоря. Было бы интересно посмотреть, если есть нечто превосходящее Yahoo Pipes своими возможностями.
Я, правда, зарегистрирован в гугловском якобы аналоге - Google Mashup, но поскольку пайпсы полностью оправдывают все мои ожидания, я там даже в админку ещё ни разу не входил.

docker писал(а):
Показвай, что там еще интересного


Через полчасика-час уже покажу кое что )
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Чт Ноя 01, 2007 3:31 pmОтветить с цитатой
Цитата:
Через полчасика-час уже покажу кое что )


Дольше вышло, как обычно. Зато сервис получился офигительный. Показываю.

Цитата:
Все никак не дойдут руки самому посмотреть с чем едят эти пайпсы. А то смотрю на тебя, и вижу что это реально полезная штука. Показвай, что там еще интересного


Что показать следующее, что более интересно?
Сервис парсинга результатов выдачи поисковиков (со склейкой нескольких сниппетов)?
Создание мультифида, подбирающего наилучшие результаты с нескольких партнерок для постов робоблогов?
Получение XML с любого сайта?
Парсинг полных сообщений из обрезанных фидов? Wink
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

docker
Профессионал
Зарегистрирован: 20.05.2007
Сообщений: 756
Обратиться по нику
# Добавлено:Чт Ноя 01, 2007 8:43 pmОтветить с цитатой
1. Парсинг полных сообщений из обрезанных фидов
2. Создание мультифида, подбирающего наилучшие результаты с нескольких партнерок для постов робоблогов
3. Получение XML с любого сайта

r5
От души оценил пост на все 5 баллов, которые мне доступны. Заслужил Smile
Новая тема Написать ответ    ГЛАВНАЯ ~ СОЦИАЛЬНЫЕ СЕТИ И БЛОГИ

Перейти:  





Генеральный спонсор



Партнеры