АРМАДА
Парсиг яху
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

iwfyb
НЕ Спать!
Зарегистрирован: 14.03.2008
Сообщений: 2865
Обратиться по нику
# Добавлено:Пн Dec 22, 2008 5:57 pmДобавить в избранноеОтветить с цитатой
Сабж
Пробовал агресс парсер - че та не парсит вообще.
PS желательно серверный и фришный)
TOP Links - Качественные ссылки для Ваших сайтов

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пн Dec 22, 2008 7:34 pmОтветить с цитатой
Сабж
Пробовал агресс парсер - че та не парсит вообще.


дык в пони!, так он еще 5 мес назад перестал Гугль и Яху парсить..
:rr6:

так как обновлений тама нет.. - давно невидел... хотя у них есть форум..
но тама также одни МСГ - что неработает, неработает...

или синтаксис запроса на СЕ поменялися..


файлик "Search/Google.txt"
содерж его:
....google.com/search?client=opera&rls=ru&num=100&q={REQUEST}{system\topdomains.txt}&sourceid=opera&ie=utf-8&oe=utf-8


сейчас же тажа строка запроса линков ?

-) они вообще кстати меняют или нет синтаксис запроса
я думаю что нет?
т.е. все старые линки на них, сразу на поиску дудут невалидные..
напр у тех у того на сайте прямой поиск с гугля стоит..

-) или может теперь без кук они выдачу недают ? -- но также бред, т.к. не только старые браузеры неподдр. куки..
но также некорые лошадки видимо, их за "паранои" типа

так как до сих пор "говорят" что без кук около 5% в нете поннков бегают... не так уж и мало!

также невозможность сохранять кук браузера вашего клиента, может означать так..
напр если спонсор (на НАТСе или там еще что то другое) только по кукам трекирует кот и от какого адверта.. - то сайн пройдет успешно у вашего спона.. но он получил уже все 100% .. т.к. небудет знать, - кому..

хотя если реализую по моей методике - то эти %5 вы терять небудети... хотя сами понимаете овнеры неособо в этом заинтересованы... т.к. тут 100% их, а с трекингом 50%


или
а лучьше и то и то и то - куки, сохранение локально ИП (далее по нему и индефиц.), таскать за собой QUERY_STRING (domain/?пони, где QUERY_STRING это сейчас "пони")
... таскать за собой QUERY_STRING, вплоть до страницы регистрации, и тама когда
можно уже потом за собой ненасить

хотя тута уже мало где зологинишся .. и почту также будет проблема посмотреть через Веб.

а старым браузером всегда можно прикинуть при парсинге Wink

Кто нить знает по каким параметрам NATS трекирует серферов конкртного адверта *
какие способы, из выше скзанных мною, применяются ?

или есть и другие способы ? + и именно их НАТС и использует !?

------------------------------------------------------
желательно серверный и фришный
думаю такие несуществуют..
вообще - если реально нужна серверная пони..
то знай что как то ИП откуда запросы идуи
иначе просто всегда бане у того же гугля...
также если и через прокси ... то невкоем случае не на 80, 3128, 8080 портах открытый и он должен быть полность твоим.. что б была уверенность чозавтра он не исчезнет.. или просто Заблочиться гуглем надолго.

+ их каптчи кажеться за рпеальные сроки взломать нельзя.. (!?)

+ для парсинга, еще и не все конторы дадут проксики..

Лейла - разьяснит потом.
Wink

__________
и раз уж пони в теме..

мне подскажите любой - фришный, платный (за ВМЗ только) и за разумную цену
Парсер гугля и яхи также желательно
+ серверные решения также нужно... но пока мне именно локальный софт нужен

и вообще для серверных парсеров цены от скольких $
и какие у них требования?
ПХП версии какой ? Курл как модуль или откомпилированный с внут поддрежкой Курла?
MySQL базы ?


Shocked
http://m.lsl.com/

iwfyb
НЕ Спать!
Зарегистрирован: 14.03.2008
Сообщений: 2865
Обратиться по нику
# Добавлено:Ср Dec 24, 2008 10:34 pmОтветить с цитатой
типа ап)
TOP Links - Качественные ссылки для Ваших сайтов

cupiey
Свой
Зарегистрирован: 29.08.2008
Сообщений: 95
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 12:39 amОтветить с цитатой
iwfyb, попробуй поискать, парсер на yahoo pipes основанный, наверняка что-нибудь должно быть.

IseeDeadPeople, из платных я только hrefer использовал, раньше он отдельно продавался от хрумера, попробуй с ботмастером поговорить на эту тему. Но ему нужен виндовый VDS минимум.
All ages, all races, all sexes.

creator123
Гуру
Зарегистрирован: 25.07.2007
Сообщений: 1146
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 12:53 amОтветить с цитатой
ну неужто такая проблема написать свой парсер? делов то.
<----- если понравился пост, жмакай сюды <-----

iwfyb
НЕ Спать!
Зарегистрирован: 14.03.2008
Сообщений: 2865
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 1:06 amОтветить с цитатой
Ну напиши, я тебе сенкс скажу, и не тока я)
из меня кодер, как из ... вообщем не кодер я абсолютно
TOP Links - Качественные ссылки для Ваших сайтов

Лена
Гуру
Зарегистрирован: 19.10.2005
Сообщений: 1203
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 1:38 amОтветить с цитатой
Aggress Parser нормально работает. Осенью я им парсила отлично, и гугл-серп и гугл-сниппеты. По поводу неработоспособности с яху ответы есть тут на странице парсера и еще были советы по настройке парсинга яху в этом топике.

Cabal
Гуру
Зарегистрирован: 20.10.2007
Сообщений: 1360
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 11:51 amОтветить с цитатой
Юзайте конструкции типа той которую я советовал во втором своём посте в топике по Лениной ссылке. Ваша задача - обойти перенаправленные с обычного Яху на Яху Сайт Эксплорер. Site-Explorer тривиально парсить уже нельзя. Там теперь выдача отдаётся аяксом и я например не нашел откуда скрипт берёт данные(правда сильно и не искал).
Cabal - патентованный зануда.

captain Keen
Опытный
Зарегистрирован: 22.10.2008
Сообщений: 206
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 2:55 pmОтветить с цитатой
AJAX сайты парсятся также как и "обычные". Принципиальной разницы нет.

Парсинг же обычного Yahoo вообще тривиальнейшая задача. Только временами апдейтить скрипты надо когда Yahoo меняет формат выдачи поисковых результатов.

Cabal
Гуру
Зарегистрирован: 20.10.2007
Сообщений: 1360
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 3:21 pmОтветить с цитатой
captain Keen писал(а):

Парсинг же обычного Yahoo вообще тривиальнейшая задача. Только временами апдейтить скрипты надо когда Yahoo меняет формат выдачи поисковых результатов.


О том что парсинг обычного Яху не тривиальная задача никто не говорил. Как раз таки тривиальная. О том и речь что лучше тривиально парсить Яху чем не тривиально извращаться с Site Explorer.
Cabal - патентованный зануда.

ctapbiu
Опытный
Зарегистрирован: 06.01.2008
Сообщений: 328
Обратиться по нику
# Добавлено:Чт Dec 25, 2008 6:41 pmОтветить с цитатой
а что там извращаться с Site Explorer?
он сам отдает 1000 резалтов одним файлом, например: http://siteexplorer.search.yahoo.com/export?p=http%3A%2F%2Fgoogle.com&bwm=i&bwmf=s&bwmo=d

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Вс Июл 12, 2009 9:40 pmОтветить с цитатой
..

мне нужна тех. инструкция, либо готовый софт (серверный/локальный..)
фрии продукты.. или платные с сапортом с нормальной ценой (до 35 ЮСД.)
- форматы, вывода у СЕ, порой меняеться.. и если софт платный, я думаю.. те кто его продал, должен бесплатно, в течении 3 дней.. править.. и давать скачать новую версию..

конечно, хорошо бы чтоб он умел я гугль .. и МСН пасить.. но эти решения у меня есть, со своей доработкой.. а вот по парсингу Яху.. у меня, как говориться "даже конь невалялся".

____
АГРЕСС ПАРСЕР - непредлагать..

.. а если, сегодня/вчера.. вам удалося спарсить яху, то выложите тут файлик с параметрами парсинга Yahoo


у меня он так выглядит -

AGGRESS\Parser\search\Yahoo.txt
Код:

url-
AbsoluteUrl-http://search.yahoo.com/search?ei=UTF-8&fr=sfp&p={REQUEST}{system\topdomains.txt}&fspl=1&n=100
UntilTextAfter-<a class=yschttl href="{TEXT}"
UntilNextLinkAfter-<a id="pg-next" class="pg" href="{NEXTLINK}">
Pattern-{TEXT}



.. парсит - нет.
.. раньше хоть, выводил какие то свои линки (редирект через них.. видимо..), а сейчас вообще "тишина", как поники на антарктике

т.е. нужно именно, чтоб парсер, сразу выдавал конечные линки/домены.. а не линки, на них.. но через себя..

может кто нить его поправит, чтоб он выдавал макс. кол-во результатов. (за один раз реквест/запрос на яху.. получал макс. кол-во результатов)

также, мне знание аналогов яху, гугль.. вернее не то что пишут, а что у вас реально работает.. эти директивы, аналоги гугля site: inurl:

_____
спасибо! Wink
http://m.lsl.com/
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры