АРМАДА
A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15  След.
Новая тема Написать ответ
Пт Июн 01, 2012 9:21 pm Start Post: A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc 

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Вт Авг 12, 2014 11:47 amОтветить с цитатой
A-Parser - версия 1.1.20 - обновление парсера Rank::CMS, разные форматы результатов для нескольких файлов

Улучшения

  • Полностью переработан парсер Rank::CMS, теперь он определяет движок сайта на основе большой и качественной базы признаков Wappalyzer, также появилась возможность выбрать категорию или конкретные движки для распознавания
  • Появилась возможность сохранять результаты одного задания в разные файлы, с выбором формата результата для каждого файла, к примеру при парсинге Гугла можно сохранять ссылки в один файл и сниппеты в другой
  • Добавлена возможность использовать шаблоны в параметрах Extra query string и User Agent
  • В шаблонах теперь можно использовать инструменты, которые доступны через переменную $tools, первый инструмент - выбор произвольного User Agent: $tools.ua.random(), список агентов хранится в файле files/tools/user-agents.txt
  • Улучшен парсер Net:: DNS при работе через прокси
  • В API появилась возможность запрашивать статус сразу нескольких заданий
  • В API появилась возможность скачивать файл результата
  • Парсер SE::AOL теперь позволяет выбрать US, UK, FR или DE выдачу
  • В парсере Rank::Ahrefs теперь дополнительно парсятся параметры URL Rank и Ahrefs Domain Rank

Исправления

  • Исправлен парсер SE::YouTube в связи с изменением в выдачи
  • Исправлен парсинг с блогов в парсере SE::Google в связи с изменением в выдачи
  • Исправлена ошибка при которой парсер мог вылететь если в качестве запроса передать очень длинный URL

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Чт Авг 28, 2014 8:49 amОтветить с цитатой
A-Parser - версия 1.1.41 - новые парсеры MailRu и Dogpile, поддержка многоядерности для чекера CMS

Улучшения

  • Новый парсер SE::MailRu - собирает ссылки, анкоры и сниппеты, количество результатов в выдаче
  • Новый парсер SE::MailRu::position - проверяет позиции сайтов в выдаче go.mail.ru
  • Новый парсер SE::Dogpile - парсер поисковика dogpile.com, собирает ссылки, анкоры и сниппеты, количество результатов в выдаче и связанные ключевые слова
  • Добавлена экспериментальная поддержка многоядерных процессоров для наиболее требовательного к ресурсам процессора парсера Rank::CMS
  • Для парсера Rank::Ahrefs добавлен парсинг социальных факторов(google+, twitter, facebook), а также возможность выбора режима отчета(ссылка, папка, домен, домен с сабдоменами)
  • Для парсера Rank::MajesticSEO добавлена возможность получать данные по полной ссылке
  • Новая опция Emulate browser headers для парсера Net::HTTP - автоматически эмулирует хедеры современных браузеров
  • Для парсера SE::Yandex::position теперь доступна статистика по использованию каптчи

Исправления

  • Исправлен парсинг рекламных блоков в парсере SE::Google в связи с изменением в выдачи
  • Исправлен парсер SE::Baidu в связи с изменением в выдачи
  • Исправлен парсер проверки языка сайта SE::Bing::LangDetect

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Вт Сен 16, 2014 10:41 amОтветить с цитатой
A-Parser - версия 1.1.61 - улучшение очереди заданий, поддержка аккаунтов в парсере Яндекса

Улучшения

  • Появилась возможность ограничивать общее потребление потоков, что позволяет пропускать задания превышающие текущее потребление, давая возможность выполнится заданиям с меньшим числом потоков. Также данный функционал полезен при использовании прокси-сервисов с лимитированным числом подключений, тем самым можно гарантированно не выходить за пределы тарифа
  • В очереди заданий теперь можно удалить все задания разом, отдельно для активной очереди и очереди завершенных заданий
  • Парсер SE::Yandex теперь поддерживает работу с аккаунтами(опция Use Accounts)
  • При парсинге рекламы в SE::Google теперь дополнительно можно вывести позицию рекламного блока(сверху или справа), а также номер страницы выдачи, на котором показано рекламное объявление

Исправления

  • Исправлено отображение русских имен файлов запросов и результатов на ОС Linux
  • Исправлено определение ТИц в парсере SE::Yandex::TIC
  • Исправлено распознавание каптчи в регистраторе аккаунтов Яндекса SE::Yandex::Register в связи с изменением в выдачи
  • Исправлена работа с заблокированными аккаунтами в парсере SE::Yandex::WordStat
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Пн Сен 29, 2014 9:10 amОтветить с цитатой
Сборник рецептов #1: Определяем CMS, оцениваем частотность ключевых слов и парсим Вконтакте

Этот пост начинает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга

Определяем CMS для 1000000 доменов за 15 часов

В примере рассказано как определить используемый движок у сайтов из базы Алексы топ-миллион, результат автоматически сортируется по файлам с названием CMS. Также дан пример как увеличить скорость обработки и проверить 1 миллион доменов всего за 2 часа



Немного статистики:

  • Скорость парсинга составила 1100 доменов в минуту
  • Всего определились 301841 из 1000000 доменов как использующие на своей главной странице одну из популярных CMS, форумов или Wiki
  • Определено 126 различных CMS
  • Топ 10 самых популярных CMS, первое значение определяет количество доменов:

Код:
209855 WordPress
23732 Joomla
22945 Drupal
6488 TYPO3 CMS
4917 vBulletin
3726 1C-Bitrix
2515 phpBB
2415 ExpressionEngine
2022 DataLife Engine
1928 Microsoft SharePoint



Читать целиком »

Оценка частотности по Вордстату, словарь Даля, 115000 слов за 40 минут
Проверяем словарь Даля на частотность запросов в Яндексе используя парсер SE::Yandex::WordStat, скорость парсинга составила 3000 слов в минуту без использования каптчи! Результат сохраняется в 2 разных файла - в первом статистика по исходным запросам, во втором - все новые ключевые слова из левой и правой колонки Вордстата

Немного статистики:

  • Парсинг 115390 ключевых слов занял всего 40 минут
  • 80208 слов из 115390 имеют ненулевую статистику в Вордстате
  • Общее число показов всех слов составляет 20001443927, ~20 миллиардов в месяц
  • Дополнительно спаршено 1143045 новых ключевых слов с общим числом показов ~36 миллиардов в месяц

Читать целиком »

Создаем парсер VKontakte обрабатывающий 14000 анкет в минуту
В примере показывается как с помощью парсера Net::HTTP и регулярных выражений можно создать парсеры почти любых сайтов и сервисов, например VKonktake Smile
Пример разделен на 2 части:

  • Сбор ссылок на анкеты из результатов поиска
  • Обработка анкет - парсинг полей "Родной город", "Семейное положение" и "Время захода на анкету"

В результате получаем файл с примерно следующим содержимым:
Код:
http://vk.com/id1492 - none - none - none
http://vk.com/id1485 - п. Сиверский - всё сложно - заходил 15 сентября в 1:34
http://vk.com/id1489 - Ленинград - none - Online
http://vk.com/id1481 - Санкт-Петербург - none - заходила 48 минут назад
http://vk.com/id1482 - град Поднебесный - не женат - Online
http://vk.com/id1493 - none - none - none



Читать целиком »

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Вт Окт 14, 2014 11:04 amОтветить с цитатой
A-Parser - версия 1.1.86 - поддержка многоядерной обработки и фильтрации результатов

В данной версии добавлена поддержка обработки и фильтрации результатов(Parse custom result, Конструкторы результатов и фильтры) на многоядерных процессорах, что в несколько раз увеличивает скорость парсинга при использовании "тяжелых" регулярных выражений, например скорость сбора email адресов со страниц достигает 10000 ссылок в минуту при 2000 потоках(при этом A-Parser обрабатывает поток 130 мбит\с gzip-сжатых данных)

Другие улучшения

  • Добавлена возможность указать сразу несколько форматов для запроса, что позволяет комбинировать множество вариантов подстановок для одних и тех же запросов в одном задании
  • Добавлена возможность использовать формат запроса на всех уровнях вложенного парсинга, например при парсинге ключевых слов с подсказок Google подстановки будут добавляться так же и для новых найденных ключевых слов(как и для исходных запросов)
  • Для парсера SE::Yandex добавлена возможность парсить не персонализированную выдачу, что позволяет более точно снимать позиции сайтов
  • В парсере Net::HTTP опция Check next page теперь поддерживает захват следующей ссылки для перехода, она будет использоваться если не указана опция Use pages

Исправления

  • В некоторых случаях могли неверно обрабатываться страницы большого размера с сжатием gzip
  • Парсер Net::Whois не работал без использования прокси, ошибка появилась в предыдущей версии
  • В конструкторе результатов, при использовании замены по регулярному выражению, некорректно обрабатывалась замена переменных $1 $2...
  • Парсер мог упасть при использовании одинаковой базы Keep unique в двух одновременно работающих заданиях
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Ср Окт 29, 2014 9:08 amОтветить с цитатой
A-Parser - 1.1.108 - улучшения паука сбора ссылок, множество исправлений

Улучшения парсера HTML::LinkExtractor

  • Добавлена опция Follow links позволяющая выбрать порядок следования по ссылкам: только по внутренним, по внутренним и внешним, только по внешним
  • Добавлен массив результатов $followlinks, который содержит ссылки для последующего перехода, над этим массивом можно применять фильтры и конструкторы результатов, что позволяет переходить только по определенным ссылкам(например только по топикам форумов)
  • Добавлена корректная обработка тега <base href=

Другие улучшения

  • Теперь парсер автоматически определяет кодировку по содержимому страницы, если другие методы не дали результатов. В случае если кодировку определить не удается и она не является корректной с точки зрения UTF-8 то содержимое страницы становится недоступным для обработки. Данное улучшение призвано исправить редкие проблемы когда файл результата A-Parser'а невозможно использовать в качестве запросов, т.к. файл мог содержать некорректную кодировку
  • При парсинге рекламы в SE::Google теперь дополнительно парсится видимая ссылка на сайт

Исправления

  • Исправлен парсер SE::Yandex в связи с изменением в выдачи
  • На платформе Windows при закрытии приложения парсера возникала ошибка
  • В парсере Net::Whois не был доступен исходный результат $data для пользовательской обработки
  • В парсере SE::Yandex была ошибка в получении каптчи если в запросе содержалась скобка
  • Результат $query мог быть изменен некоторыми парсерами
  • Парсер Rank::OpenSiteExplorer исправлен в связи с изменением в выдачи
  • Добавлен запрет на изменение результатов с зарезервированными именами($query, $info)
  • При использовании нескольких конструкторов результатов невозможно было выбрать новые результаты для обработки

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Чт Ноя 06, 2014 12:57 pmОтветить с цитатой
Сборник рецептов #2: собираем форумы для XRumer, парсим email со страниц контактов

Этот пост продолжает серию статей с рецептами применения A-Parser: комплексные примеры с одновременным использованием различного функционала парсера. Помимо детального разбора заданий можно также оценить скорость обработки запросов и скачать результаты парсинга

Парсим базу для XRumer: 420000 форумов за 9 часов

Учимся быстро собирать большие базы методом перебора



За 9 часов работы:

  • Было обработано 525254 запроса на максимальную глубину
  • Спаршено 68 миллионов ссылок, 420к из которых подходят под фильтр и уникальны по домену
  • Средняя скорость парсинга составила 1000 запросов в минуту

Собираем 1.65 миллиона email со страниц контактов за 2.5 часа

Парсим ссылки на страницы с контактными данными, затем собираем с них email-адреса




  • Средняя скорость обработки составила 12000 ссылок в минуту
  • ТОП-10 почтовых доменов:

Код:

249772 mail.ru
129894 gmail.com
91901 yandex.ru
25625 rambler.ru
20821 bk.ru
19773 hotmail.com
14656 yahoo.com
14117 list.ru
13636 inbox.ru
11670 ukr.net




Сбор перелинкованных топиков

Метод описывает как используя возможности парсера HTML::LinkExtractor собирать ссылки на перелинкованные топики - еще один хороший метод сбора баз форумов для XRumer

Алгоритм работы:

  • Переходим только по внешним ссылкам
  • Фильтруем ссылки для перехода по признакам форумов
  • Добавляем уникализацию по домену
  • Сохраняем ссылки по которым переходим, тем самым собираем все ссылки на новые форумы которые встретятся


Парсинг форумов по признакам и запросам

Классический вариант сбора форумов - используя признаки движков и подставляя дополнительные кейворды. Ссылки дополнительно фильтруются по регулярному выражению и проходят уникализацию по домену

Предыдущие рецепты:
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Пн Ноя 24, 2014 9:12 amОтветить с цитатой
A-Parser - версия 1.1.135 - множество улучшений и исправлений в связи с изменениями в выдачи

Улучшения

  • Теперь парсер-паук для сбора ссылок HTML::LinkExtractor основывается на парсере Net::HTTP и поддерживает все его возможности и опции, включая работу с Cookies
  • В парсер SE::Google добавлена возможность подставлять в запросы найденные Related keywords, что позволяет собрать большую базу тематических ключевых слов, которая будет сильно отличаться от подсказок
  • Добавлена возможность выбора текущего пресета для прокси-чекера через API
  • В парсере SE::Google добавлен обход лишнего редиректа на HTTPS
  • Улучшена скорость обработки HTTPS запросов на некоторых сайтах, затрагивает парсер SE::Yandex::WordStat
  • На ОС Windows x64 парсер может использовать до 3Гб оперативной памяти
  • В интерфейсе добавления заданий появилась возможность сворачивать настройки парсеров
  • Улучшен импорт пресетов: теперь при совпадении названий пресетов настроек парсеров пользователю будет предложено заменить пресет или создать новый с другим именем

Исправления

  • В парсере Net::HTTP исправлена медленная обработка запросов при одновременном использовании опции Emulate browser headers и методе HEAD
  • Исправлена проблема с запуском парсера на некоторых версиях Windows
  • В парсере SE::Google исправлена обработка запросов с нулевым результатом, в связи с изменением в выдачи
  • В парсере SE::Yahoo исправлена работа с региональными доменами, в связи с изменением в выдачи
  • Исправлена ошибка в парсере SE::Google при которой парсер мог вылетать если использовалась опция Location
  • Исправлена ошибка в интерфейсе добавления Конструкторов результата, при которой в списке результатов могли появляться лишние элементы
  • Парсер SE::Baidu исправлен в связи с изменением в выдачи
  • В парсере SE::YouTube исправлен парсинг общего числа результатов, в связи с изменением в выдачи
  • Неудачные запросы сохранялись в неверной кодировке
  • Исправлена работа опции Raw data results
  • В парсере SE::Google исправлена работа опции Parse not found, в связи с изменением в выдачи
  • В парсере SE::Yandex исправлен парсинг Related keywords, в связи с изменением в выдачи
  • Исправлена работа с доменами в зоне .be для парсера Net::Whois
  • Парсер SE::Yahoo исправлен в связи с изменением в выдачи
  • В парсере SE::Yandex исправлена обработка времени кэширования страниц для некоторых форматов дат
  • В API исправлен метод getTaskResultsFile, в некоторых случаях IP адрес сервера заменялся IP адресом клиента
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Пн Dec 15, 2014 11:23 amОтветить с цитатой
A-Parser - 1.1.162 - новые парсеры Seznam и подсказок AOL, уменьшено потребление памяти на 40%

Улучшения

  • SE::Seznam - парсер чешской поисковой системы seznam.cz
  • SE::AOL::Suggest - парсер подсказок с поисковой системы AOL
  • Уменьшено начальное потребление памяти на 40%
  • В парсере Net::HTTP добавлена возможность указать произвольные заголовки запроса, с поддержкой возможностей шаблонизатора
  • Добавлена опция позволяющая сохранять параметры окна интерфейса A-Parser
  • Добавлена возможность пропускать обновления на определенную версию
  • Улучшено отображение интерфейса при изменении размеров окна и растягивании на весь экран
  • Добавлен параметр командной строки -nofork позволяющий отключить многоядерную обработку результатов

Исправления

  • Исправлено отображение текущий версии A-Parser для пользователей Lite версии
  • Исправлена работа тестового парсинга с некоторыми ресурсами
  • Исправлен парсер Rank::Ahrefs в связи с изменением в выдаче
  • Исправлена работа опции Use pages для парсера Net::HTTP при использовании перебора запросов
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Вт Янв 06, 2015 12:47 pmОтветить с цитатой
A-Parser - 1.1.177 - Новый модуль SEO::Ping и парсер Rank::Mustat, улучшения в интерфейсе

Улучшения

  • Новый модуль SEO:: Ping - массовая отправка Ping запросов в сервисы поддерживающие Weblog API(Google Blog Search, Feed Burner, Ping-o-Matic и т.п.)
  • Новый парсер Rank::Mustat - оценка трафика на сайте, также стоимость и рейтинг домена
  • Для парсера Net::Whois добавлена возможность вручную указать адрес whois-сервера
  • В поле Additional headers парсера Net::HTTP теперь возможно использовать переменные из конструктора запросов
  • Добавлена опция позволяющая перезаписывать файл результата
  • Добавлена возможность поиска пресета задания по названию
  • Автоматическая прокрутка к выбранному элементу во всех списках в интерфейсе парсера
  • В очереди заданий теперь отображаются названия пресетов


Исправления

  • Парсер Rank::Ahrefs исправлен в связи с изменением в выдачи
  • Исправлен вывод Raw results для парсера Net::Whois
  • Исправлен вывод порядкового номера запроса $query.num
  • Исправлена работа метода API bulkRequest
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Пт Фев 13, 2015 10:39 amОтветить с цитатой
A-Parser - 1.1.200 - возможность добавлять запросы на основе результатов парсинга, множество исправлений


Улучшения


  • Добавлена возможность добавлять новые запросы на основе результатов парсинга, что позволяет составлять более продвинутые пресеты по сбору данных
  • Парсер SE::Google::Images теперь парсит без https
  • Добавлена возможность ограничить максимальное число соединений на один прокси сервер
  • В API добавлена возможность удалять файл результата
  • Обновлен Perl модуль по работе с API AParser.pm
  • В Конструкторе результатов теперь автоматически подставляются имена результирующих переменных
  • Добавлена возможность использовать запрос $query в настройке Extra query string


Исправления


  • В парсере SE::Yandex исправлена обработка каптчи, переход по страницам и парсинг времени кэширования, в связи с изменением в выдачи
  • Исправлена возможность сохранять бинарные данные(скачивать картинки, видео, документы...)
  • Исправлен вывод запроса после форматирования для конкретного парсера, используя конструкцию $p1.query.query
  • Исправлена кодировка при сохранении неудачных запросов
  • Исправлена ошибка, при которой задания могли не удалятся из очереди
  • Исправлена кодировка в именах файлов результатов
  • В парсере HTML::LinkExtractor исправлена работа при переходе одновременно по внутренним и внешним ссылкам
  • При использовании нескольких парсеров и опции Parse to level в некоторых случаях могли накапливаться запросы что приводило к утечке памяти
  • Исправлен вылет парсера при использовании некоторых регулярных выражений
  • Исправлена обработка относительных путей в парсере Net::HTTP при использовании опции Next Page Regex
  • Исправлен парсинг количества результатов в парсере SE::Google при использовании арабской локализации
  • Исправлена блокировка файла после завершения задачи при использовании нескольких файлов результатов
  • Исправлен парсер Rank::Ahrefs в связи с изменением в выдачи
  • Исправлена ошибка работы с исходным кодом страницы в парсере SE::Google

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Пт Мар 06, 2015 6:28 amОтветить с цитатой
Демо версия A-Parser

Рады представить онлайн демо версию A-Parser, в которой можно ознакомиться со всеми возможностями перед покупкой парсера или перед переходом на новую версию

Демо версия предоставляет доступ к A-Parser установленному на нашем сервере, период тестирования - 6 часов, по истечению этого времени все настройки автоматически будут сброшены

Ограничения демо версии:

  • Результаты парсинга не доступны для загрузки
  • Максимальное число потоков - 100
  • Парсинг возможен только с использованием прокси

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Ср Мар 25, 2015 12:47 pmОтветить с цитатой
A-Parser - 1.1.224 - улучшенные возможности по уникализации результатов, множество исправлений

Все возможности новой версии можно протестировать в демо версии A-Parser

Улучшения


  • Добавлена возможность уникализировать результаты созданные с помощью Конструктора результатов
  • Добавлена возможность передавать дополнительные параметры на сервис распознавания каптчи(например специальные настройки для CapMonster)
  • В парсер SE::Bing::Images добавлена возможность отключить безопасный поиск
  • В парсер SE::YouTube добавлен фильтр по 4K видео
  • Добавлена возможность применять Конструктор запросов после подстановок запросов
  • В парсер SE::Bing добавлена возможность парсить связанные кейворды в глубину, автоматически подставляя новые кейворды в запросы(Parse to level)
  • Переработан выбор файлов запросов, теперь вложенные директории отображаются только при клике по ним


Исправления в связи с изменениями в выдачи


  • Исправлен парсер SE::Yandex::WordStat
  • Исправлен парсер SE::Yahoo
  • Исправлен парсер SE::AOL
  • Исправлен парсинг связанных ключевых слов в парсере SE::Bing
  • Исправлен парсинг времени последнего кэширования страницы в парсере SE::Yandex
  • Исправлен регистратор аккаунтов SE::Yandex::Register
  • Исправлен парсинг связанных ключевых слов в парсере SE::Yandex



Исправления


  • Некорректно работала опция сохранения переноса строк для Windows (CRLF)
  • Иногда задание могло зависнуть в состоянии pausing/stopping

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Вт Май 05, 2015 5:52 amОтветить с цитатой
A-Parser - 1.1.247 - новые парсеры поисковиков Ask и Comcast, произвольные шаблоны в конструкторе результатов

Улучшения


  • В конструкторе результатов и фильтрах теперь возможно использовать произвольный шаблон в качестве аргумента для преобразования или фильтрации
  • В парсер SE::Yandex добавлена возможность выбора домена yandex.com для парсинга
  • Добавлен новый поисковик SE::Ask с американской выдачей Google
  • Добавлен новый поисковик SE::Comcast с американской выдачей Google
  • Добавлена статистика для завершенных заданий, а также отображение общего времени выполнения задания
  • Добавлен объект $request, который доступен при форматировании результата и позволяет извлечь любую информацию о текущем запросе, а также о всех редиректах выполненных перед конечным запросом

Исправления


  • Парсер мог заблокировать файл результата после завершения задания
  • Исправлена некорректная обработка <base href= в некоторых случаях
  • Парсер вылетал при использовании инструмента генерации произвольного User-Agent tools.ua.random() в тестовом парсинге
  • В быстром задании не работал выбор запросов из файла
  • Некорректно обрабатывался редирект с автоматическим выбором схемы(ссылки вида //domain.com/)


Исправления в связи с изменениями в выдачи


  • В парсере Rank::Alexa исправлен парсинг страны и регионального рейтинга
  • Улучшен парсинг тИЦ в парсере SE::Yandex::TIC
  • Исправлен парсер SE::Yahoo
  • Исправлено определение блокировки IP-адреса в парсере Rank::Ahrefs
  • Исправлен парсер SE::Yandex::WordStat::ByDate
  • Парсер Rank::Category перешел на семантический анализатор от Ашманова
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций

A-Parser Support +
Опытный
Зарегистрирован: 02.06.2013
Сообщений: 173
Обратиться по нику
# Добавлено:Вт Май 19, 2015 10:13 amОтветить с цитатой
Программа LinkAParser - объединение функционала генератора PandoraBox и парсера A-Parser

С помощью данного софта задействованы основные возможности парсера A-Parser при генерации сайтов программой PandoraBox.

Обсуждение на форуме A-Parser'а и ссылка на сайт генератора

Применяет возможности А-Парсера для:

  • Парсинга релевантного текста
  • Парсинга релевантных картинок
  • Парсинга релевантных видео роликов


Понимает какие ключи уже обработаны и не парсит одно и тоже дважды
С программой идут готовые пресеты, которые достаточно импортировать и можно запускать генерацию
Спаршенные данные программа структурировано раскладывает в файлы и папки
Спаршенный текст программа чистит от мусора по множеству признаков

В комплекте с программой идет набор дополнительных макросов:

  • Макрос вывода релевантного текста с подмешанными ключами
  • Макрос вывода релевантного текста без ключей
  • Макрос вывода релевантной картинки
  • Макрос вывода релевантной картинки как локальной(проксирование скриптом)
  • Макрос вывода релевантного видео ролика

Для работы необходима лицензия парсера A-Parser Enterprise
A-Parser - парсер для профессионалов SEO
SpySerp.com - бесплатный сервис отслеживания позиций
Новая тема Написать ответ    ГЛАВНАЯ ~ РЕКЛАМА И ОБЪЯВЛЕНИЯ

Перейти:  





Генеральный спонсор



Партнеры