АРМАДА
A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, ... 11, 12, 13, 14, 15, 16, 17, 18, 19, 20  След.
Новая тема Написать ответ
Пт Июн 01, 2012 9:21 pm Start Post: A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc 

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вт Ноя 06, 2012 4:45 pmОтветить с цитатой
Версия 0.9.266

В этой версии:

Новый парсер SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.

Теперь сжатие gzip используется во всех парсерах по умолчанию.

Парсер HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.

Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.

Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}

Исправления затронули:

  • HTTP движок
  • фильтр результатов
  • парсер SE::Yandex::WordStat


Связанные задачи:
Цитата:
Ошибка #289: Fix parser crash when parsing malformed cookies(stack-size related bug)
Ошибка #290: Fix RegEx not match filter
Ошибка #294: SE::Yandex::WordStat not parse totalcount if query quoted
Ошибка #295: Fix HTTP engine: max_size + chunked encoding fail
Ошибка #296: Fix HTTP engine: max_size + gunzip fail
Ошибка #298: Fix results filter queries leak
Улучшение #203: Add posibility to add custom query string to SE::* parsers
Улучшение #284: Set use gzip as default for all http parsers
Улучшение #285: Auto decode page encoding to utf-8 in HTML::LinkExtractor(same as Net::HTTP)
Улучшение #288: Increase HTML::LinkExtractor speed around 8x
Улучшение #291: Allow any utf-8 letters in {az:start:end} macros
Улучшение #299: Add search.aol.com parser - SE::AOL


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Ср Ноя 14, 2012 11:31 amОтветить с цитатой
Версия 0.9.284

Новый парсер Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков

Переработан и улучшен парсер Rank::CMS:

  • база признаков вынесена в конфигурационный файл - теперь можно добавлять свои признаки и редактировать имеющиеся
  • база почищена от мусора, теперь парсер определяет 186 различных CMS


Исправлен парсер SE::Bing::Translator в связи с изменениями на стороне сервера.

Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.

Связанные задачи:
Цитата:
Ошибка #269: deleting of paused task not wakeup next task
Ошибка #292: Failed restore iterator with non-english queries file name
Ошибка #293: Crash when malformed regex used
Ошибка #297: Parser fail complete task if many broken queries
Ошибка #304: Не определяются движки сайтов и форумов: Dle, phpBB, Wordpress
Ошибка #306: Fix crash when loading big unique files
Ошибка #307: Fix lost iterator when saving task with error
Ошибка #308: Fix a lot of memleaks: http engine, parser test, API, and some other
Ошибка #310: Очень плохо работает Rank::CMS
Ошибка #312: SE::Bing::Translator change token
Улучшение #301: Чекер Alexa Traffic Rank
Улучшение #309: Write pid file 'files/pid', on windows additionaly show actual port in parser server window
Улучшение #314: Configuration file for Rank::CMS: files/Rank-CMS/engines.txt + fix some errors, total 186 engines now


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Ноя 26, 2012 1:06 pmОтветить с цитатой
Версия 0.9.296

Новые парсеры:


  • SE::Google::Maps - парсер ссылок в выдаче Google Maps, позволяет искать сайты привязанные к определенному месту на карте
  • SE::Yandex::Position - проверка позиции сайта по ключевому слову в Яндексе
  • SE::QIP::Position - проверка позиции сайта по ключевому слову в search.qip.ru


Теперь все 3 парсера позиций сайта(по Гуглу, Яндексу и search.qip.ru) обладают следующими возможностями и опциями:


  • Прекращение парсинга если сайт найден(не будет переходить на следующую страницу)
  • Могут учитываться позиции поддоменов
  • Может собирать все позиции в выдачи(когда сайт находится на нескольких позициях одновременно)
  • В результат может быть выведена конкретная ссылка сайта, находящаяся на найденной позиции


Полностью переработана работа с DNS серверами:


  • Теперь парсер поддерживает работу с несколькими серверами
  • Поддерживает настройку числа попыток и таймаута для запросов
  • Может подключаться к серверам в случайной последовательности что позволяет распределить нагрузку на сами сервера
  • Улучшена обработка ошибок от сервера


Остальные улучшения:


  • Для парсеров Net::HTTP, HTML::LinkExtractor и Rank::CMS добавлена возможность указать произвольный User-Agent
  • Для парсера SE::Yandex::WordStat добавлена возможность удаления + (плюса) из найденных ключевых слов
  • Через API теперь можно запросить список живых проксей, подробнее в документации по API
  • Добавлен макрос array[].size при формировании результата, позволяет вывести размер определенного массива
  • Улучшена скорость декомпрессии gzip, тем самым повысив максимальную скорость при полной загрузке парсера


Связанные задачи:
Цитата:
Ошибка #316: Fix SE::QIP next page regex
Ошибка #317: Fix again SE::Bing::Translator
Ошибка #325: Net::DNS crash when malformed domain used
Ошибка #329: Fix timeout handling when make recursive queries(redirects)
Улучшение #208: Add posibility to remove '+' in keywords in SE::Yandex::WordStat
Улучшение #311: Через api получить список Proxy
Улучшение #315: Парсер позиций домена по ключевому слову в SE::Yandex и SE::QIP
Улучшение #318: New option for SE::Google::Position: Match subdomains
Улучшение #319: New option for SE::Google::Position: Stop when found
Улучшение #320: Add array[].size macros in result format
Улучшение #321: User agent вынести во внешний текстовый файл - as parser option for Net::HTTP, HTML::LinkExtractor and Rank::CMS
Улучшение #324: New parser SE::Google::Maps - parse links and total results count from Google Maps SERP
Улучшение #327: Improve DNS errors handling
Улучшение #330: Improve current speed calculating on big speeds
Улучшение #334: Improve gzip cpu usage(speed)
Улучшение #335: New DNS resolver: many servers, retries, timeouts, randomization, cache


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Dec 10, 2012 12:33 pmОтветить с цитатой
Версия 0.9.325

В парсер добавлена поддержка AntiGate(и любых других сервисов с поддержкой их API)! На данный момент антигейт поддерживается 2мя парсерами:


  • Util::AntiGate - парсер для проверки и настройки антигейта, принимает ссылку на изображение каптчи и выводит разгаданный результат
  • SE::Yandex - обход каптчи как с прокси так и без, автоматическая проверка правильности ответа


Новый парсер Rank::MajesticSEO - парсит число ссылающихся ссылок, доменов, IP-адресов и подсетей с сервиса www.majesticseo.com

Другие улучшения:


  • Возможность выбора региона поиска для парсера Яндекса
  • Возможность указания числа попыток для запроса при работе без прокси
  • Для парсера Net::Whois теперь возможно вывести дату создания домена в результат, а так же исправлена работа с национальными доменами


Связанные задачи:
Цитата:
Ошибка #337: Fix Net::Whois crash when malformed query used
Ошибка #338: whois по ру зоне (added support for international tlds)
Ошибка #339: Fix DNS issue on some win 2003 systems, + minor bugfix(retries > servers count)
Улучшение #340: Add region choose in SE::Yandex options
Улучшение #342: Возможность установки вручную кол-во попыток для загрузки страницы при работе без проксей(Proxy retries -> Request retries)
Улучшение #343: New parser Rank::MajesticSEO - collect count of domains, pages, ips, subnets, and indexed pages
Улучшение #344: Add creation_date for Net:::Whois parser
Улучшение #345: New parser Util::AntiGate - test and configure antigate module
Улучшение #346: Add AntiGate support for SE::Yandex - allow parsing without proxy


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вс Dec 16, 2012 11:20 amОтветить с цитатой
A-Parser - версия 0.9.335

Парсер SE::Yandex:


  • Исправления в связи с изменением верстки в выдачи
  • Добавлен домен yandex.by
  • Исправлена работа с антигейтом при использовании доменов yandex.ua и yandex.by


Исправлен парсинг снипетов в SE::Google при наличии в выдаче видео
Исправлены все парсеры позиций - некорректное определение позиции на 2+ странице

Связанные задачи:
Цитата:
Ошибка #349: Fix *::Position parser when parsing 2+ pages
Ошибка #351: Парсер сниппетов Google - не парсит сниппеты с видео
Ошибка #353: Fix SE::Yandex serp parsing(changed ~11.12.2012)
Улучшение #347: Add support for non-english characters in results file name(when {query} macros used)
Улучшение #348: Add yandex.by domain for SE::Yandex + fix antigate for yandex.by and yandex.ua
Улучшение #350: Imporve search.aol.com parsing(no use cookies)


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Сб Dec 29, 2012 1:19 pmОтветить с цитатой
Версия 0.9.346

Новогоднее обновление Smile новые парсеры:


  • Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
  • Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов


Улучшена производительность при высоких нагрузках примерно на 15%, исправлен парсинг второй ссылки в парсере SE::Google, а так же удален парсер Rank::Ahrefs - теперь он отображает результаты только зарегистрированным пользователям

Всех с наступающим!

Связанные задачи:
Цитата:
Ошибка #357: Fix parsing 2nd link in SE::Google
Улучшение #355: New parser Rank::OpenSiteExplorer - check domain/page authority and back domains/back links count
Улучшение #356: New parser Rank::SEMrush - check SEMrush rank, traffic/traffic price/ads traffic/ads price
Улучшение #361: Improve speed on highload ~15%
Поддержка #354: Remove Rank::Ahrefs parser - now it show results only for regitstered users


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Янв 21, 2013 12:56 pmОтветить с цитатой
A-Parser - версия 0.9.356

Добавлен полноценный парсер SE::YouTube - парсит ссылку на ролик, титл, описание, имя пользователя, дату добавления, количество просмотров и длину ролика. Поддерживает все фильтры YouTube - по стране, по дате загрузки, типу результата(ролики, плейлисты, каналы), длине ролика, дополнительных параметров(HD, субтитры, CC лицензия, 3D контент, онлайн трансляция), сортировку(по релевалентности, количеству просмотров или рейтингу).

Для парсера SE::Yandex::Suggest добавлена возможность подстановки найденных кейвордов в запросы до указанного уровня, аналогично как сделано в парсере подсказок Google. Для парсера подсказок SE::Google::Suggest добавлена возможность выбора региона.

Теперь все макросы подстановок можно использовать непосредственно в списке запросов, что позволяет для разных запросов указывать свои подстановки.

Новые возможности в выводе результатов: теперь можно указать какие именно позиции выводить в массиве, например можно вывести топ-3 ссылок с Google.

Полностью переписан модуль формирования результата, среднее ускорение парсинга примерно 10% на большом числе потоков.

Парсер Rank::CMS ускорен в связи с исправлением внутренней ошибки.

Связанные задачи:
Цитата:
Ошибка #367: Failed windows-1251(and probably many others) decoding on linux
Ошибка #368: Fix RE compiling for each url in Rank::CMS - improve perfomance
Ошибка #374: Fix results formatting when used 10+ results from 'Parse custom result'
Улучшение #302: Парсер YouTube - totalcount, link, title, user, uploaded date, description, duration time, views + support all youtube filters
Улучшение #326: SE::Yandex::Suggests - автоподстановка в запрос найденных кейвордов
Улучшение #362: Improve google suggests parsing
Улучшение #363: Add option 'Log long running regex' for Rank::CMS - possibility for fast search bad regex
Улучшение #365: Использование макросов непосредственно в списке запросов
Улучшение #370: Add search from country support for SE::Google::Suggest
Улучшение #372: Перезагрузка парсера и прокси - первыми чекать сохраненные живые
Улучшение #375: Add results formatter compiler, improve perfomance ~10%
Улучшение #376: New results macros array[...][pos] and array[...][posStart-posEnd] - allow output only specified result from array. Pos start from 0


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Фев 11, 2013 11:36 amОтветить с цитатой
A-Parser - версия 0.9.370

Большое обновление интерфейса


  • Просмотр настроек задания
  • Редактирование созданного задания
  • Копирование заданий

  • Минимизация заданий
  • Перемещение заданий в очереди вверх/вниз

  • Просмотр текущего запроса целиком при наведении курсора
  • Возможность удаления задания из очереди завершённых заданий
  • Увеличение скорости работы интерфейса


Другие улучшения


  • В парсер SE::Yandex::WordStat добавлена поддержка распознавания каптчи через АнтиКаптчу, аналогично как сделано для парсера SE::Yandex

  • Теперь можно указывать разные данные для авторизации прокси в формате login:password@ip:port
  • Улучшена скорость при сохранении прогресса задания


Исправления


  • Добавлена поддержка авторизации для HTTP прокси при использовании CONNECT метода
  • Исправлен подсчёт результатов при использовании двух и более парсеров одновременно
  • Исправлен подсчёт средней скорости задания, теперь она считается с момента последнего старта задания
  • Исправление медленного регулярного выражения в парсере SE::Bing


Связанные задачи:
Цитата:
Ошибка #377: Fix results formating with some parsers(Net::Whois, ..)
Ошибка #378: Add support for proxy authorization with CONNECT method
Ошибка #379: Fix auth support for socks proxies
Ошибка #384: Unique URL count is inaccurate when using 2+ Parser
Ошибка #386: Fix wrong avg speed calculating(from task add time, now calc from start time)
Ошибка #390: Fix long running regex for SE::Bing
Улучшение #3: wait for stable ext js 4.1 and migrate
Улучшение #100: Implement task conf view in queue
Улучшение #101: Implement task edit
Улучшение #102: More logs usability + integration with queue
Улучшение #103: Move tasks in queue
Улучшение #143: Show full query on mouse over on Current query in Queue + truncate query to length of field
Улучшение #276: Stopped task in Active list - allow minimize (now all tasks can be minimized)
Улучшение #381: Wordstat + antigate
Улучшение #382: Прокси с разными данными для авторизации
Улучшение #383: Allow delete tasks from completed queue
Улучшение #387: Improve interface speed(when show big configs of tasks/proxychecker/parsers/etc)
Улучшение #388: Add posibility for copying tasks
Улучшение #389: Improve speed of saving/loading tasks
Улучшение #391: Flush results when pause/stop task


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вт Мар 12, 2013 1:10 pmОтветить с цитатой
A-Parser - версия 0.9.383

Добавлен парсер Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:

  • Проверяет закрыта ли от индексации страница через robots.txt
  • Проверяет meta тег robots на наличие атрибутов noindex и nofollow
  • Проверяет наличие rel=nofollow у найденной ссылки


Парсер Rank::Ahrefs возвращен обратно

Теперь парсер собирает до 1000 результатов с каждого запроса

Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.

Исправлено:

  • Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
  • Исправлен парсер SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса


Связанные задачи:
Цитата:
Ошибка #402: Import preset not work
Ошибка #406: Fix parser crash when start paused task after server restart
Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
Ошибка #419: Fix {size} result in SE::Google::Images
Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
Ошибка #421: Fix SE::AOL parser
Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
Улучшение #393: Return Rank::Ahrefs parser
Улучшение #403: Now SE::Yandex can parse up to 1000 links per query


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Ср Мар 13, 2013 9:53 pmОтветить с цитатой


Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.

Всего за год была проделана огромная работа:

  • Выпущено 39 обновлений
  • Сделано 195 улучшений
  • Закрыта 141 ошибка


Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.

В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений.

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Мар 18, 2013 10:47 amОтветить с цитатой
A-Parser - версия 0.9.389

Парсер SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча


В парсере Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика

Парсер SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру


Улучшен парсер Check::BackLink:

  • Теперь можно определить был ли редирект на странице нахождения беклинка
  • В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
  • Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку


Добавлена кнопка выхода из парсера(повторный запрос пароля)

Исправлен парсер HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.

Связанные задачи:
Цитата:
Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue)
Улучшение #401: Подключение antigate.com к парсеру Google
Улучшение #414: Сделать парсер http заголовков
Улучшение #416: Яндекс - дата индекса ссылки
Улучшение #422: сделать кнопку логаута
Улучшение #423: Улучшение модуля Check::BackLink
Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пт Мар 29, 2013 4:10 pmОтветить с цитатой
Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии Smile Встречайте версию 1.0.0!



Главное нововведение - конструктор запросов:



Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:


  • Разделение запроса на части с помощью регулярного выражения
  • Замена подстроки в запросе или замена регулярным выражением
  • Выделение домена\главного домена из ссылки
  • Добавление знака ! перед каждым словом в запросе(необходимо для парсера SE::Yandex::WordStat)
  • Приведение запроса к верхнему\нижнему регистру


Более подробно и с примерами можно прочитать на странице документации: Query Builder - конструктор запросов

Забегая вперёд расскажу о ближайших планах расширения функциональности:

  • Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
  • Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности


Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь Smile

Другие изменения в этой версии:

  • Число результатов в парсере SE::QIP автоматически преобразовывается из строк "миллионов" и "тысяч"
  • Исправлен парсер Rank::Alexa в связи с изменением выдачи
  • Исправлен парсер SE::Yandex - на некоторых запросах мог долго обрабатывать страницу что приводило к зависанию


Связанные задачи:
Цитата:
Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned
Ошибка #431: не правильный парсинг Алекса Ранк
Ошибка #432: 2 запроса {query}
Ошибка #437: Check::BackLink падает на некоторых ресурсах
Ошибка #438: Fix long SE::Yandex regex
Улучшение #380: Query builder
Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Чт Апр 11, 2013 8:47 amОтветить с цитатой
A-Parser - версия 1.0.11

Обновилось API, добавлено 3 метода:

  • addTask - полноценное добавление задания, со всеми настройками
  • getTaskState - получение состояния задания(статистика выполнения, текущий статус)
  • changeTaskStatus - изменение статуса задания(пауза\старт\стоп\удаление)

Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптами

В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель

Парсер SE::YouTube теперь дополнительно парсит ссылку на превью ролика

Исправлено:

  • Парсер SE::YouTube в связи с изменением верстки
  • Парсер SE::Yandex - исправлено определение даты попадания в индекс


Связанные задачи:
Цитата:
Ошибка #412: Can't edit task created from quick task menu
Ошибка #413: In quick task need to set unique queries for Parse to level with suggests
Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0)
Ошибка #445: Не работает парсер Youtube
Ошибка #449: SE::Yandex: баги с поиском даты
Улучшение #273: в API нету добавления задания
Улучшение #439: Разделение запроса через произвольный разделитель
Улучшение #441: сохранение прокси без указания типа(http://, socks://)
Улучшение #444: Парсер Youtube - ссылка на превью ролика
Улучшение #446: Get task state and change task status with API


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Апр 29, 2013 2:38 pmОтветить с цитатой
A-Parser - версия 1.0.21

Улучшения:

  • Парсер Rank::MajesticSEO теперь также парсит показатели Trust Flow и Citation Flow
  • Возможность выбора языка результатов для парсеров SE::Yahoo и SE::Yahoo::Suggest
  • В парсер SE::Yandex добавлена поддержка домена yandex.kz
  • Теперь возможно вручную указать прокси для любого запроса, для этого необходимо создать результат {proxy} через Query Builder
  • В парсер Net::HTTP добавлена опция Detect charset on content, позволяющая автоматически определять кодировку страницы
  • В парсер Net::HTTP добавлен результат {proxy}, позволяющий отобразить использованный прокси при запросе
  • В API теперь возможно добавлять задания на основе ранее сохранённого пресета из интерфейса


Исправления:

  • SE::AOL в связи с изменениями в выдачи
  • SE::Google - исправлен парсинг Related keywords
  • Исправлено определение кодировки через тег <meta charset=


Цитата:
Ошибка #447: AOL parser not work again
Ошибка #452: Fix charset detecting for <meta charset= tag
Ошибка #460: Fix related keywords parsing in SE::Google
Улучшение #450: Добавить в модуль Net::HTTP {proxy}
Улучшение #451: Смена языка во всех парсерах yahoo(SE::Yahoo, SE::Yahoo::Suggest)
Улучшение #453: Добавить в Rank::MajesticSEO парсинг показателей Trust Flow и Citation Flow
Улучшение #454: API addTask брать настройки из Task preset
Улучшение #455: Ability for select save good proxies with type or not
Улучшение #456: Add yandex.kz domain for SE::Yandex
Улучшение #457: Add 'Detect charset on content' for Net::HTTP - automaticaly detect charset of content if meta charset/charset-encoding not specified
Улучшение #458: Now result {proxy} from Query Builder used as proxy for current query


Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Чт Май 16, 2013 7:57 amОтветить с цитатой
A-Parser - версия 1.0.27

Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:


  • Поиск и извлечение данных по регулярному выражению
  • Замена по регулярному выражению
  • Разделение строки по произвольному разделителю
  • Замена подстроки в строке
  • Извлечение домена/главного домена из ссылки
  • Приведение к верхнему\нижнему регистру
  • Удаление HTML-тегов из текста
  • Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст


Новый парсер SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле

Исправлено:

  • Обработка каптчи в парсере SE::Google
  • Парсинг ссылок в SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"
Новая тема Написать ответ    ГЛАВНАЯ ~ РЕКЛАМА И ОБЪЯВЛЕНИЯ

Перейти:  





Генеральный спонсор



Партнеры