АРМАДА
BatchURLScraper - Извлечение данных XPath, CSSPath, RegExp
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

chaser
Свой
Зарегистрирован: 08.02.2017
Сообщений: 91
Обратиться по нику
# Добавлено:Вт Ноя 17, 2020 7:12 pmДобавить в избранноеОтветить с цитатой
Всем привет!

Представляю вашему вниманию бесплатную программу BatchURLScraper, предназначенную для извлечения данных со страниц сайтов используя XPath, CSS-селекторы, XQuery и RegExp.







Возможности программы BatchURLScraper:

  • парсинг и извлечение данных по списку URL
  • гибкая настройка парсинга используя XPath, CSSPath, XQuery и RegExp
  • модуль для тестирования правил парсинга
  • экспорт отчетов в Excel (CSV-формат)


Страница скачивания (5 Мб): https://site-analyzer.ru/soft/batch-url-scraper/

Буду рад любым отзывам и пожеланиям по работе программы.
https://site-analyzer.ru/

chaser
Свой
Зарегистрирован: 08.02.2017
Сообщений: 91
Обратиться по нику
# Добавлено:Чт Ноя 26, 2020 6:25 pmОтветить с цитатой
Новая версия BatchURLScraper 1.3







Что нового:

  • расширено число страниц для парсинга с 1000 до 5000 URL
  • добавлена возможность скрапинга через HTML templates
  • добавлена возможность извлечения данных через атрибуты CSS
  • добавлена возможность скрапинга через внешний и внутренний HTML
  • добавлена возможность использования списков Proxy
  • исправлен баг некорректного сохранения User-Agent


Страница скачивания: https://site-analyzer.ru/soft/batch-url-scraper/
https://site-analyzer.ru/

chaser
Свой
Зарегистрирован: 08.02.2017
Сообщений: 91
Обратиться по нику
# Добавлено:Вт Dec 08, 2020 7:46 pmОтветить с цитатой
Новая версия BatchURLScraper 1.4 (build 27), 08.12.2020:

  • исправлена ошибка с валидацией HTML-темплейтов
  • оптимизирована работа с регулярными выражениями
  • добавлена возможность неучета повторений при скрейпинге
  • исправлена проблема с учетом пауз между запросами
  • диапазон пауз между запросами расширен до полутора минут
  • доработан и улучшен перевод программы
  • устранены утечки памяти
https://site-analyzer.ru/
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры