|
|
iskand3r Свой |
Зарегистрирован: 20.11.2009
Сообщений: 66
|
Обратиться по нику
|
iskand3r |
Ответить с цитатой | | |
|
Уважаемые комрады, от безисходности действа и настигающей апатии, взываю к вашей помощи.
Суть горя, не дающего моей бренной душенке возрадоваться прелестям жизни заключается в порождении дъявола именуемом Hreffer.
Давече, дабы скрасить быть свой, приобрел за кровные эту вот штуку (не надо только писать, что чел это УГ и нах ты потратил бабло)
Бьюсь над истинной парсинга и сбора базы для хрума уже сутки этак 3-ьи.
И не парсит, не парсит гад окаянный.
Складываю признаки для парсинга, аля inurl:forum.php в addictive words, в words пергамент с ключами.
В настройках отключаю filter by templates.
Апдейтчу список проксей, запускаю в 100\40\20\10 потоков
и не парсит
точнее парсит но улов скудный - после 5 часов работы, добычи то 30 урлов.
Что за напасть то такая, может кто смог забороть наваждение сие?
з.ы. не отсылайте в обитель ботмастера, ибо вопрошают меня к действу чтения мануала, котрый уже напамять почти знаю. |
|
|
|
|
|
Censored Signature |
zeoman V.I.P. |
Зарегистрирован: 19.03.2008
Сообщений: 3708
|
Обратиться по нику
|
zeoman |
Ответить с цитатой | | |
|
iskand3r, какие используются прокси? Если публичные, то не забаненных гуглом среди них мало. Если хорошие, приватные, то перестань использовать всякие inurl и прочие intitle, без них парсится замечательно. Ну и на сладкое: есть поисковики, которые используют выдачу гугла, яндекса, яху и позволяют парсить себя без прокси. Прочитай справку по хреферу и добавь новые поисковики в engines.ini.
P.S. Кстати, гугл можно заставить показывать в выдаче только форумы. |
|
|
|
|
|
|
iskand3r Свой |
Зарегистрирован: 20.11.2009
Сообщений: 66
|
Обратиться по нику
|
iskand3r |
Ответить с цитатой | | |
|
спасибо zeoman+
кажется я нашел один такой поисковик, юзающий выдачу гошы, с офигительно звучащим названием если произносить по русски =) |
|
|
|
|
|
Censored Signature |
zeoman V.I.P. |
Зарегистрирован: 19.03.2008
Сообщений: 3708
|
Обратиться по нику
|
|
|
|
iskand3r Свой |
Зарегистрирован: 20.11.2009
Сообщений: 66
|
Обратиться по нику
|
iskand3r |
Ответить с цитатой | | |
|
zeoman, а я вот там вот и смотрю как раз =)
только вот чето не очень пока получается его к хреферу приспособить
не харвестит линки... |
|
|
|
|
|
Censored Signature |
zeoman V.I.P. |
Зарегистрирован: 19.03.2008
Сообщений: 3708
|
Обратиться по нику
|
zeoman |
Ответить с цитатой | | |
|
iskand3r, как пример:
Цитата: |
[WebCrawler]
Hostname=http://www.webcrawler.com
Query=webcrawler/ws/results/Web/[QUERY]/1/417/TopNavigation/Relevance/iq=true/zoom=off/_iceUrlFlag=7?_IceUrl=true
LinksMask=<a id=[...]class="resultsLink" onMouseOver="window.status='[LINK]';return true"
TotalPages=1
NextPage=class="wsPagerNext" href="[LINK]">Next >
NextPage2=
|
Почитай справку, посмотри то, что уже есть в шаблонах поиска, экспериментируй. |
|
|
|
|
|
|
iskand3r Свой |
Зарегистрирован: 20.11.2009
Сообщений: 66
|
Обратиться по нику
|
iskand3r |
Ответить с цитатой | | |
|
zeoman, бро, а не можешь подсказать такую пс которая бы позволяла парсить без проксей, а то чето я уже штук 5 перебрал банят сволочи (( |
|
|
|
|
|
Censored Signature |
|
|
Партнеры
|