АРМАДА
Шикарный Hreffer не парсит
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

iskand3r
Свой
Зарегистрирован: 20.11.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вт Ноя 24, 2009 7:12 pmДобавить в избранноеОтветить с цитатой
Уважаемые комрады, от безисходности действа и настигающей апатии, взываю к вашей помощи.
Суть горя, не дающего моей бренной душенке возрадоваться прелестям жизни заключается в порождении дъявола именуемом Hreffer.
Давече, дабы скрасить быть свой, приобрел за кровные эту вот штуку (не надо только писать, что чел это УГ и нах ты потратил бабло)
Бьюсь над истинной парсинга и сбора базы для хрума уже сутки этак 3-ьи.
И не парсит, не парсит гад окаянный.
Складываю признаки для парсинга, аля inurl:forum.php в addictive words, в words пергамент с ключами.
В настройках отключаю filter by templates.
Апдейтчу список проксей, запускаю в 100\40\20\10 потоков
и не парсит
точнее парсит но улов скудный - после 5 часов работы, добычи то 30 урлов.
Что за напасть то такая, может кто смог забороть наваждение сие?

з.ы. не отсылайте в обитель ботмастера, ибо вопрошают меня к действу чтения мануала, котрый уже напамять почти знаю.
Censored Signature

zeoman
V.I.P.
Зарегистрирован: 19.03.2008
Сообщений: 3708
Обратиться по нику
# Добавлено:Вт Ноя 24, 2009 8:19 pmОтветить с цитатой
iskand3r, какие используются прокси? Если публичные, то не забаненных гуглом среди них мало. Если хорошие, приватные, то перестань использовать всякие inurl и прочие intitle, без них парсится замечательно. Ну и на сладкое: есть поисковики, которые используют выдачу гугла, яндекса, яху и позволяют парсить себя без прокси. Прочитай справку по хреферу и добавь новые поисковики в engines.ini.

P.S. Кстати, гугл можно заставить показывать в выдаче только форумы.

iskand3r
Свой
Зарегистрирован: 20.11.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вт Ноя 24, 2009 9:18 pmОтветить с цитатой
спасибо zeoman+
кажется я нашел один такой поисковик, юзающий выдачу гошы, с офигительно звучащим названием если произносить по русски =)
Censored Signature

zeoman
V.I.P.
Зарегистрирован: 19.03.2008
Сообщений: 3708
Обратиться по нику
# Добавлено:Вт Ноя 24, 2009 9:32 pmОтветить с цитатой
iskand3r, а вот даже список есть.

iskand3r
Свой
Зарегистрирован: 20.11.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вт Ноя 24, 2009 10:17 pmОтветить с цитатой
zeoman, а я вот там вот и смотрю как раз =)
только вот чето не очень пока получается его к хреферу приспособить Sad
не харвестит линки...
Censored Signature

zeoman
V.I.P.
Зарегистрирован: 19.03.2008
Сообщений: 3708
Обратиться по нику
# Добавлено:Вт Ноя 24, 2009 10:24 pmОтветить с цитатой
iskand3r, как пример:

Цитата:
[WebCrawler]
Hostname=http://www.webcrawler.com
Query=webcrawler/ws/results/Web/[QUERY]/1/417/TopNavigation/Relevance/iq=true/zoom=off/_iceUrlFlag=7?_IceUrl=true
LinksMask=<a id=[...]class="resultsLink" onMouseOver="window.status='[LINK]';return true"
TotalPages=1
NextPage=class="wsPagerNext" href="[LINK]">Next >
NextPage2=


Почитай справку, посмотри то, что уже есть в шаблонах поиска, экспериментируй.

iskand3r
Свой
Зарегистрирован: 20.11.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Ср Ноя 25, 2009 1:32 pmОтветить с цитатой
zeoman, бро, а не можешь подсказать такую пс которая бы позволяла парсить без проксей, а то чето я уже штук 5 перебрал банят сволочи ((
Censored Signature
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры