АРМАДА
Парсинг Google
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

zeoman
V.I.P.
Зарегистрирован: 19.03.2008
Сообщений: 3708
Обратиться по нику
# Добавлено:Вс Ноя 29, 2009 11:32 pmДобавить в избранноеОтветить с цитатой
Для меня остаётся загадкой: как так, идёт парсинг google по ключам подобным "89.234.54.34:3127" в один поток с задержкой 1.5 секунды на протяжении 7 часов и google как бы куй клал на это, а как только "2345 "powered by phpbb" в один поток с задержкой 10 секунд, так рогом в плинтус и бан ip. Загадка.

Как-то краем уха слышал про парсер на основе java script, монтируемый йфреймом в посещаему страницу. Кто может подсказать по данному вопросу?

blam
Опытный
Зарегистрирован: 13.03.2008
Сообщений: 240
Обратиться по нику
# Добавлено:Пн Ноя 30, 2009 9:20 amОтветить с цитатой
за phpbb он быстро банит, это естественно )
через юзверя парсить, можно теоретически, там с секьюрностью проблемы, типа запросы только с тем доменом, откуда он загружен (js)
Бложок

ctapbiu
Опытный
Зарегистрирован: 06.01.2008
Сообщений: 328
Обратиться по нику
# Добавлено:Пн Ноя 30, 2009 10:05 amОтветить с цитатой
не любит гугл запросов типа "powered by ..."
признак парсилки, а не человека
по некоторым таким запросам вообще сразу предупреждает что не человеческий это запрос и возможно виря у тебя какая-то...
ищи другие признаки phpbb

Grut
Опытный
Зарегистрирован: 22.01.2007
Сообщений: 368
Обратиться по нику
# Добавлено:Вт Dec 01, 2009 2:02 amОтветить с цитатой
1. Парсю с домашнего компа - Гугл начинает ругаться, когда использую оператор inurl. Оператор intext и связка "powered by ..." работают без проблем.
2. Про парсер руками серфера впервые слышал на блоге Intop20 (до его падения). В том посте высказывали конкретные решения. Но поскольку я не прогер, то не уделял существенного внимания. Думается, молчаливые умы уже реализовали сабж.
LinkPyramid - качественные ссылки дорого! | | SGManaged - хостинг для успешного вебмастера!

zeoman
V.I.P.
Зарегистрирован: 19.03.2008
Сообщений: 3708
Обратиться по нику
# Добавлено:Вт Dec 01, 2009 2:07 amОтветить с цитатой
Grut, значит буду сайты партнёров гугла парсить.
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры