|
|
zeoman V.I.P. |
Зарегистрирован: 19.03.2008
Сообщений: 3708
|
Обратиться по нику
|
zeoman |
Ответить с цитатой | | |
|
Для меня остаётся загадкой: как так, идёт парсинг google по ключам подобным "89.234.54.34:3127" в один поток с задержкой 1.5 секунды на протяжении 7 часов и google как бы куй клал на это, а как только "2345 "powered by phpbb" в один поток с задержкой 10 секунд, так рогом в плинтус и бан ip. Загадка.
Как-то краем уха слышал про парсер на основе java script, монтируемый йфреймом в посещаему страницу. Кто может подсказать по данному вопросу? |
|
|
|
|
|
|
blam Опытный |
Зарегистрирован: 13.03.2008
Сообщений: 240
|
Обратиться по нику
|
blam |
Ответить с цитатой | | |
|
за phpbb он быстро банит, это естественно )
через юзверя парсить, можно теоретически, там с секьюрностью проблемы, типа запросы только с тем доменом, откуда он загружен (js) |
|
|
|
|
|
Бложок |
ctapbiu Опытный |
Зарегистрирован: 06.01.2008
Сообщений: 328
|
Обратиться по нику
|
ctapbiu |
Ответить с цитатой | | |
|
не любит гугл запросов типа "powered by ..."
признак парсилки, а не человека
по некоторым таким запросам вообще сразу предупреждает что не человеческий это запрос и возможно виря у тебя какая-то...
ищи другие признаки phpbb |
|
|
|
|
|
|
Grut Опытный |
Зарегистрирован: 22.01.2007
Сообщений: 368
|
Обратиться по нику
|
Grut |
Ответить с цитатой | | |
|
1. Парсю с домашнего компа - Гугл начинает ругаться, когда использую оператор inurl. Оператор intext и связка "powered by ..." работают без проблем.
2. Про парсер руками серфера впервые слышал на блоге Intop20 (до его падения). В том посте высказывали конкретные решения. Но поскольку я не прогер, то не уделял существенного внимания. Думается, молчаливые умы уже реализовали сабж. |
|
|
|
|
|
LinkPyramid - качественные ссылки дорого! | | SGManaged - хостинг для успешного вебмастера! |
zeoman V.I.P. |
Зарегистрирован: 19.03.2008
Сообщений: 3708
|
Обратиться по нику
|
|
|
|
|