АРМАДА
UrlChecker
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

Берия
Свой
Зарегистрирован: 20.11.2007
Сообщений: 27
Обратиться по нику
# Добавлено:Пт Dec 14, 2007 8:30 amДобавить в избранноеОтветить с цитатой
UrlChecker

Простой скрипт для чека списка юрлов на валидность.
Для работы требуется наличие интерпритатора языка Python (www.python.org).
Скрипт тестировался под версией Питона 2.5 и ОС WinXP and FreeBSD

Запускается из командной строки:
Код:
python check.py page_db.txt text_search
python check.py guest.txt “<form”


Первый параметр база юрлов, одна строка один url.
Второй параметр - текст наличие которого на странице переводит страницу в ранг “хороших”

Результаты сохраняются в файлы (на каталог со скриптом права 777):
Код:
good_file = “good_urls.txt”
bad_file = “bad_urls.txt”


Какой из них что значит, думаю, не стоит объяснять

Скрипт по умолчанию работает в 10 потоков, но думаю это число можно без проблем увеличить
до 20, 30, 50 и т.д., сколько сервер выдюжит и канал.
Параметр в скрипте - thread_count = 10 #Кол-во потоков используемых в скрипте для чека юрлов

Для чего это надо?
Возможно вам это и не надо,если перед вами не встаёт задачи быстро проверить
большую базу юрлов на живучесть или на пробив после рассылки, даже хотябы на
наличие формы на странице. Данный скрипт такое выполняет с лёгкостью,в отличие
от бедного SpamIt-а или VIP-а, их задача состоит не в том чтобы тратить время
на обработку страниц без форм,а совсем в другом.

(c)Sec|Null Team

Скачать
Продам акции MICROSOFT и GooGle

Берия
Свой
Зарегистрирован: 20.11.2007
Сообщений: 27
Обратиться по нику
# Добавлено:Вт Dec 25, 2007 8:40 pmОтветить с цитатой
UrlChecker v0.0.2b :p

Вторая,исправленная версия. Была исправлена ошибка с адрессом страниц,
из-за которой часть результатов получалось неверным (спасибо Professor за найденный баг http://umaxforum.com/showthread.php?t=24492).
Так же изменена многопоточность,что уменшило кол-во используемой оперативной памяти.
Скачать
Продам акции MICROSOFT и GooGle
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры