АРМАДА
Чем парсить?
На страницу 1, 2  След.
Новая тема Написать ответ

iwfyb
НЕ Спать!
Зарегистрирован: 14.03.2008
Сообщений: 2865
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 12:11 amДобавить в избранноеОтветить с цитатой
Я так понимаю варианта всего 2:
хрефер и аура.
Что лучше/легче/круче/и т.д
Отзывы хотелось бы услышать, кто че юзает.
TOP Links - Качественные ссылки для Ваших сайтов

billybob
Свой
Зарегистрирован: 25.01.2008
Сообщений: 9
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 1:36 amОтветить с цитатой
есть ещё хороший парсер hххp://xkovator.com - я свою первую базу им собирал. недостаток у него - проксичекера нет встроенного, так что придётся чекать прокси самому или ждать пока он рабочую подберёт

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 3:06 amОтветить с цитатой
http://pipes.yahoo.com/
Бесплатно, полная настраиваемость любых параметров.
Недостаток: требуется мозг Sad
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

iwfyb
НЕ Спать!
Зарегистрирован: 14.03.2008
Сообщений: 2865
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 11:57 amОтветить с цитатой
Да нет, мне нужно парсить базы для спама. Т.е. гесты, форумы и блоги.
Причем софт нужен серьезный, чтобы парсил быстро и много. Обьемы большие.
TOP Links - Качественные ссылки для Ваших сайтов

Danusya
Свой
Зарегистрирован: 24.10.2008
Сообщений: 47
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 1:07 pmОтветить с цитатой
BrokenBrake писал(а):
http://pipes.yahoo.com/
Бесплатно, полная настраиваемость любых параметров.
Недостаток: требуется мозг Sad



Можно поподробнее? Smile Не про моск, а про настраиваемость :smk:
Бесплатный хостинг и бесплатный домен второго уровня для белых проектов + прогон по социалкам

BrokenBrake
Бомжевед
Зарегистрирован: 16.02.2007
Сообщений: 3432
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 3:12 pmОтветить с цитатой
Можно - http://brokenbrake.biz/category/Yahoo-Pipes/
Научись ценить время с microToDo
...а работу с рекламодателями автоматизируй!

Danusya
Свой
Зарегистрирован: 24.10.2008
Сообщений: 47
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 5:09 pmОтветить с цитатой
BrokenBrake писал(а):
Можно - http://brokenbrake.biz/category/Yahoo-Pipes/



Благодарствую) Как раз будет, чего почитать сегодня в метро по дороге домой... :thup:
Бесплатный хостинг и бесплатный домен второго уровня для белых проектов + прогон по социалкам

billybob
Свой
Зарегистрирован: 25.01.2008
Сообщений: 9
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 8:13 pmОтветить с цитатой
iwfyb писал(а):

Причем софт нужен серьезный, чтобы парсил быстро и много. Обьемы большие.


имхо, 90% успеха парсинга зависит от проксей и от метода работы с ними парсера. но если серьёзно настроен, то только парсер на заказ - из того что есть в паблике - попробуй хрефер

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 9:46 pmОтветить с цитатой
iwfyb писал(а):
Да нет, мне нужно парсить базы для спама. Т.е. гесты, форумы и блоги.
Причем софт нужен серьезный, чтобы парсил быстро и много. Обьемы большие.



.. ну тут есть серверные решения и локальные..
пони, ты локальный софт .. или серверный ищешь ?

есть еще локальный AGGRESS PARSER ~ .. и писал про него, а скорости .. парсинга зависят не от канала (хотя от 10+ Кбайт/сек хватит) .. а чисто в количестве живых проксей.. которые еще не в tmp-бане у СЕ..

хрефер и аура.

хрефер это тот который идет в комплекте с хрумером ?

а аура что за пони ?
http://m.lsl.com/

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 9:56 pmОтветить с цитатой
Danusya писал(а):
BrokenBrake писал(а):
Можно - http://brokenbrake.biz/category/Yahoo-Pipes/



Благодарствую) Как раз будет, чего почитать сегодня в метро по дороге домой... :thup:



.. так расскажите точнее, как при помощи этого запарсить динамически (пхп-скриптами) базу в 100.000 гестов ?

____________

конечно, у меня напр. есть около 500 живых проксей, собранных с паблика.. вродеб 1/3 из них.. незабанены в гугле..
но даже этим, собрать крупные базы.. будет слишком долго..

.. у кого кстати есть, крупные базы признаков.. - желательно цели это - старые гесты/ббс-ки.. без всяких каптч,
.. у меня есть одна в 16к+ строк.. - что нить еще крупнее у кого то есть ?
http://m.lsl.com/

billybob
Свой
Зарегистрирован: 25.01.2008
Сообщений: 9
Обратиться по нику
# Добавлено:Пт Июл 24, 2009 11:12 pmОтветить с цитатой
IseeDeadPeople писал(а):

а аура что за пони ?


ауру автор, похоже, забросил hххp://auraproff.biz

iwfyb
НЕ Спать!
Зарегистрирован: 14.03.2008
Сообщений: 2865
Обратиться по нику
# Добавлено:Сб Июл 25, 2009 1:04 amОтветить с цитатой
Ну хз просто.
Прокси не вопрос, да и запросы тоже. Лучше конечно серверный, ибо надо много и качественно.
TOP Links - Качественные ссылки для Ваших сайтов

Lexix
V.I.P.
Зарегистрирован: 11.07.2008
Сообщений: 2143
Обратиться по нику
# Добавлено:Сб Июл 25, 2009 11:50 amОтветить с цитатой
Юзай хрефер.
Их финансы не поют романсы Заработай на ссылках

iwfyb
НЕ Спать!
Зарегистрирован: 14.03.2008
Сообщений: 2865
Обратиться по нику
# Добавлено:Пн Авг 03, 2009 2:10 pmОтветить с цитатой
изначально так и думал за хрефер, сенкс всем.
TOP Links - Качественные ссылки для Ваших сайтов

starter
Свой
Зарегистрирован: 31.07.2009
Сообщений: 30
Обратиться по нику
# Добавлено:Вт Авг 04, 2009 3:11 pmОтветить с цитатой
так же подерживаю хрефер.
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ

Перейти:  





Генеральный спонсор



Партнеры