АРМАДА
A-Parser - продвинутый парсер ПС, Suggest, WordStat, PR, etc
На страницу Пред.  1, 2, 3, 4, 5, 6, 7, 8  След.
Новая тема Написать ответ

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вт Ноя 06, 2012 4:45 pmОтветить с цитатой
Версия 0.9.266

В этой версии:

Новый парсер SE::AOL - парсинг search.aol.com, этот поисковик использует американскую выдачу Google.

Теперь сжатие gzip используется во всех парсерах по умолчанию.

Парсер HTML::LinkExtractor полностью переписан, производительность выросла примерно в 8 раз, также теперь поддерживается перекодировка анкоров в utf-8.

Во всех парсерах теперь можно указать произвольные дополнительные параметры в запрашиваемом урле.

Макрос подстановок {az:start:end} теперь поддерживает Unicode, например можно указать перебор на русском: {az:а:яя}

Исправления затронули:

  • HTTP движок
  • фильтр результатов
  • парсер SE::Yandex::WordStat


Связанные задачи:
Цитата:
Ошибка #289: Fix parser crash when parsing malformed cookies(stack-size related bug)
Ошибка #290: Fix RegEx not match filter
Ошибка #294: SE::Yandex::WordStat not parse totalcount if query quoted
Ошибка #295: Fix HTTP engine: max_size + chunked encoding fail
Ошибка #296: Fix HTTP engine: max_size + gunzip fail
Ошибка #298: Fix results filter queries leak
Улучшение #203: Add posibility to add custom query string to SE::* parsers
Улучшение #284: Set use gzip as default for all http parsers
Улучшение #285: Auto decode page encoding to utf-8 in HTML::LinkExtractor(same as Net::HTTP)
Улучшение #288: Increase HTML::LinkExtractor speed around 8x
Улучшение #291: Allow any utf-8 letters in {az:start:end} macros
Улучшение #299: Add search.aol.com parser - SE::AOL

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Ср Ноя 14, 2012 11:31 amОтветить с цитатой
Версия 0.9.284

Новый парсер Rank::Alexa - парсер Alexa Rank, парсит глобальный рейтинг, название страны с наивысшим рейтингом и сам рейтинг в этой стране, а также число бек-линков

Переработан и улучшен парсер Rank::CMS:

  • база признаков вынесена в конфигурационный файл - теперь можно добавлять свои признаки и редактировать имеющиеся
  • база почищена от мусора, теперь парсер определяет 186 различных CMS


Исправлен парсер SE::Bing::Translator в связи с изменениями на стороне сервера.

Проведена большая работа по уменьшению потребления памяти, исправлены все известные ошибки влияющие на работу и стабильность парсера.

Связанные задачи:
Цитата:
Ошибка #269: deleting of paused task not wakeup next task
Ошибка #292: Failed restore iterator with non-english queries file name
Ошибка #293: Crash when malformed regex used
Ошибка #297: Parser fail complete task if many broken queries
Ошибка #304: Не определяются движки сайтов и форумов: Dle, phpBB, Wordpress
Ошибка #306: Fix crash when loading big unique files
Ошибка #307: Fix lost iterator when saving task with error
Ошибка #308: Fix a lot of memleaks: http engine, parser test, API, and some other
Ошибка #310: Очень плохо работает Rank::CMS
Ошибка #312: SE::Bing::Translator change token
Улучшение #301: Чекер Alexa Traffic Rank
Улучшение #309: Write pid file 'files/pid', on windows additionaly show actual port in parser server window
Улучшение #314: Configuration file for Rank::CMS: files/Rank-CMS/engines.txt + fix some errors, total 186 engines now

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Ноя 26, 2012 1:06 pmОтветить с цитатой
Версия 0.9.296

Новые парсеры:


  • SE::Google::Maps - парсер ссылок в выдаче Google Maps, позволяет искать сайты привязанные к определенному месту на карте
  • SE::Yandex::Position - проверка позиции сайта по ключевому слову в Яндексе
  • SE::QIP::Position - проверка позиции сайта по ключевому слову в search.qip.ru


Теперь все 3 парсера позиций сайта(по Гуглу, Яндексу и search.qip.ru) обладают следующими возможностями и опциями:


  • Прекращение парсинга если сайт найден(не будет переходить на следующую страницу)
  • Могут учитываться позиции поддоменов
  • Может собирать все позиции в выдачи(когда сайт находится на нескольких позициях одновременно)
  • В результат может быть выведена конкретная ссылка сайта, находящаяся на найденной позиции


Полностью переработана работа с DNS серверами:


  • Теперь парсер поддерживает работу с несколькими серверами
  • Поддерживает настройку числа попыток и таймаута для запросов
  • Может подключаться к серверам в случайной последовательности что позволяет распределить нагрузку на сами сервера
  • Улучшена обработка ошибок от сервера


Остальные улучшения:


  • Для парсеров Net::HTTP, HTML::LinkExtractor и Rank::CMS добавлена возможность указать произвольный User-Agent
  • Для парсера SE::Yandex::WordStat добавлена возможность удаления + (плюса) из найденных ключевых слов
  • Через API теперь можно запросить список живых проксей, подробнее в документации по API
  • Добавлен макрос array[].size при формировании результата, позволяет вывести размер определенного массива
  • Улучшена скорость декомпрессии gzip, тем самым повысив максимальную скорость при полной загрузке парсера


Связанные задачи:
Цитата:
Ошибка #316: Fix SE::QIP next page regex
Ошибка #317: Fix again SE::Bing::Translator
Ошибка #325: Net::DNS crash when malformed domain used
Ошибка #329: Fix timeout handling when make recursive queries(redirects)
Улучшение #208: Add posibility to remove '+' in keywords in SE::Yandex::WordStat
Улучшение #311: Через api получить список Proxy
Улучшение #315: Парсер позиций домена по ключевому слову в SE::Yandex и SE::QIP
Улучшение #318: New option for SE::Google::Position: Match subdomains
Улучшение #319: New option for SE::Google::Position: Stop when found
Улучшение #320: Add array[].size macros in result format
Улучшение #321: User agent вынести во внешний текстовый файл - as parser option for Net::HTTP, HTML::LinkExtractor and Rank::CMS
Улучшение #324: New parser SE::Google::Maps - parse links and total results count from Google Maps SERP
Улучшение #327: Improve DNS errors handling
Улучшение #330: Improve current speed calculating on big speeds
Улучшение #334: Improve gzip cpu usage(speed)
Улучшение #335: New DNS resolver: many servers, retries, timeouts, randomization, cache

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Dec 10, 2012 12:33 pmОтветить с цитатой
Версия 0.9.325

В парсер добавлена поддержка AntiGate(и любых других сервисов с поддержкой их API)! На данный момент антигейт поддерживается 2мя парсерами:


  • Util::AntiGate - парсер для проверки и настройки антигейта, принимает ссылку на изображение каптчи и выводит разгаданный результат
  • SE::Yandex - обход каптчи как с прокси так и без, автоматическая проверка правильности ответа


Новый парсер Rank::MajesticSEO - парсит число ссылающихся ссылок, доменов, IP-адресов и подсетей с сервиса www.majesticseo.com

Другие улучшения:


  • Возможность выбора региона поиска для парсера Яндекса
  • Возможность указания числа попыток для запроса при работе без прокси
  • Для парсера Net::Whois теперь возможно вывести дату создания домена в результат, а так же исправлена работа с национальными доменами


Связанные задачи:
Цитата:
Ошибка #337: Fix Net::Whois crash when malformed query used
Ошибка #338: whois по ру зоне (added support for international tlds)
Ошибка #339: Fix DNS issue on some win 2003 systems, + minor bugfix(retries > servers count)
Улучшение #340: Add region choose in SE::Yandex options
Улучшение #342: Возможность установки вручную кол-во попыток для загрузки страницы при работе без проксей(Proxy retries -> Request retries)
Улучшение #343: New parser Rank::MajesticSEO - collect count of domains, pages, ips, subnets, and indexed pages
Улучшение #344: Add creation_date for Net:::Whois parser
Улучшение #345: New parser Util::AntiGate - test and configure antigate module
Улучшение #346: Add AntiGate support for SE::Yandex - allow parsing without proxy

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вс Dec 16, 2012 11:20 amОтветить с цитатой
A-Parser - версия 0.9.335

Парсер SE::Yandex:


  • Исправления в связи с изменением верстки в выдачи
  • Добавлен домен yandex.by
  • Исправлена работа с антигейтом при использовании доменов yandex.ua и yandex.by


Исправлен парсинг снипетов в SE::Google при наличии в выдаче видео
Исправлены все парсеры позиций - некорректное определение позиции на 2+ странице

Связанные задачи:
Цитата:
Ошибка #349: Fix *::Position parser when parsing 2+ pages
Ошибка #351: Парсер сниппетов Google - не парсит сниппеты с видео
Ошибка #353: Fix SE::Yandex serp parsing(changed ~11.12.2012)
Улучшение #347: Add support for non-english characters in results file name(when {query} macros used)
Улучшение #348: Add yandex.by domain for SE::Yandex + fix antigate for yandex.by and yandex.ua
Улучшение #350: Imporve search.aol.com parsing(no use cookies)

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Сб Dec 29, 2012 1:19 pmОтветить с цитатой
Версия 0.9.346

Новогоднее обновление Smile новые парсеры:


  • Rank::SEMrush - проверяет рейтинг SEMrush, количество SE траффика и его стоимость, количество Ads траффика и его стоимость
  • Rank::OpenSiteExplorer - проверяет рейтинг домена\страницы по OpenSiteExplorer, а так же количество беклинков и бекдоменов


Улучшена производительность при высоких нагрузках примерно на 15%, исправлен парсинг второй ссылки в парсере SE::Google, а так же удален парсер Rank::Ahrefs - теперь он отображает результаты только зарегистрированным пользователям

Всех с наступающим!

Связанные задачи:
Цитата:
Ошибка #357: Fix parsing 2nd link in SE::Google
Улучшение #355: New parser Rank::OpenSiteExplorer - check domain/page authority and back domains/back links count
Улучшение #356: New parser Rank::SEMrush - check SEMrush rank, traffic/traffic price/ads traffic/ads price
Улучшение #361: Improve speed on highload ~15%
Поддержка #354: Remove Rank::Ahrefs parser - now it show results only for regitstered users

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Янв 21, 2013 12:56 pmОтветить с цитатой
A-Parser - версия 0.9.356

Добавлен полноценный парсер SE::YouTube - парсит ссылку на ролик, титл, описание, имя пользователя, дату добавления, количество просмотров и длину ролика. Поддерживает все фильтры YouTube - по стране, по дате загрузки, типу результата(ролики, плейлисты, каналы), длине ролика, дополнительных параметров(HD, субтитры, CC лицензия, 3D контент, онлайн трансляция), сортировку(по релевалентности, количеству просмотров или рейтингу).

Для парсера SE::Yandex::Suggest добавлена возможность подстановки найденных кейвордов в запросы до указанного уровня, аналогично как сделано в парсере подсказок Google. Для парсера подсказок SE::Google::Suggest добавлена возможность выбора региона.

Теперь все макросы подстановок можно использовать непосредственно в списке запросов, что позволяет для разных запросов указывать свои подстановки.

Новые возможности в выводе результатов: теперь можно указать какие именно позиции выводить в массиве, например можно вывести топ-3 ссылок с Google.

Полностью переписан модуль формирования результата, среднее ускорение парсинга примерно 10% на большом числе потоков.

Парсер Rank::CMS ускорен в связи с исправлением внутренней ошибки.

Связанные задачи:
Цитата:
Ошибка #367: Failed windows-1251(and probably many others) decoding on linux
Ошибка #368: Fix RE compiling for each url in Rank::CMS - improve perfomance
Ошибка #374: Fix results formatting when used 10+ results from 'Parse custom result'
Улучшение #302: Парсер YouTube - totalcount, link, title, user, uploaded date, description, duration time, views + support all youtube filters
Улучшение #326: SE::Yandex::Suggests - автоподстановка в запрос найденных кейвордов
Улучшение #362: Improve google suggests parsing
Улучшение #363: Add option 'Log long running regex' for Rank::CMS - possibility for fast search bad regex
Улучшение #365: Использование макросов непосредственно в списке запросов
Улучшение #370: Add search from country support for SE::Google::Suggest
Улучшение #372: Перезагрузка парсера и прокси - первыми чекать сохраненные живые
Улучшение #375: Add results formatter compiler, improve perfomance ~10%
Улучшение #376: New results macros array[...][pos] and array[...][posStart-posEnd] - allow output only specified result from array. Pos start from 0

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Фев 11, 2013 11:36 amОтветить с цитатой
A-Parser - версия 0.9.370

Большое обновление интерфейса


  • Просмотр настроек задания
  • Редактирование созданного задания
  • Копирование заданий

  • Минимизация заданий
  • Перемещение заданий в очереди вверх/вниз

  • Просмотр текущего запроса целиком при наведении курсора
  • Возможность удаления задания из очереди завершённых заданий
  • Увеличение скорости работы интерфейса


Другие улучшения


  • В парсер SE::Yandex::WordStat добавлена поддержка распознавания каптчи через АнтиКаптчу, аналогично как сделано для парсера SE::Yandex

  • Теперь можно указывать разные данные для авторизации прокси в формате login:[email protected]:port
  • Улучшена скорость при сохранении прогресса задания


Исправления


  • Добавлена поддержка авторизации для HTTP прокси при использовании CONNECT метода
  • Исправлен подсчёт результатов при использовании двух и более парсеров одновременно
  • Исправлен подсчёт средней скорости задания, теперь она считается с момента последнего старта задания
  • Исправление медленного регулярного выражения в парсере SE::Bing


Связанные задачи:
Цитата:
Ошибка #377: Fix results formating with some parsers(Net::Whois, ..)
Ошибка #378: Add support for proxy authorization with CONNECT method
Ошибка #379: Fix auth support for socks proxies
Ошибка #384: Unique URL count is inaccurate when using 2+ Parser
Ошибка #386: Fix wrong avg speed calculating(from task add time, now calc from start time)
Ошибка #390: Fix long running regex for SE::Bing
Улучшение #3: wait for stable ext js 4.1 and migrate
Улучшение #100: Implement task conf view in queue
Улучшение #101: Implement task edit
Улучшение #102: More logs usability + integration with queue
Улучшение #103: Move tasks in queue
Улучшение #143: Show full query on mouse over on Current query in Queue + truncate query to length of field
Улучшение #276: Stopped task in Active list - allow minimize (now all tasks can be minimized)
Улучшение #381: Wordstat + antigate
Улучшение #382: Прокси с разными данными для авторизации
Улучшение #383: Allow delete tasks from completed queue
Улучшение #387: Improve interface speed(when show big configs of tasks/proxychecker/parsers/etc)
Улучшение #388: Add posibility for copying tasks
Улучшение #389: Improve speed of saving/loading tasks
Улучшение #391: Flush results when pause/stop task

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Вт Мар 12, 2013 1:10 pmОтветить с цитатой
A-Parser - версия 0.9.383

Добавлен парсер Check::BackLink - проверяет нахождение вашей ссылки(ссылок) по базе ссылок:

  • Проверяет закрыта ли от индексации страница через robots.txt
  • Проверяет meta тег robots на наличие атрибутов noindex и nofollow
  • Проверяет наличие rel=nofollow у найденной ссылки


Парсер Rank::Ahrefs возвращен обратно

Теперь парсер собирает до 1000 результатов с каждого запроса

Так же значительно обновлена Документация, теперь она готова примерно на 70%, а в скором времени будет приятное обновление сайта.

Исправлено:

  • Импортированние пресетов заданий не работало, ошибка появилась в предыдущей версии
  • Исправлен парсер SE::AOL - теперь требуется гораздо меньше попыток на выполнение запроса


Связанные задачи:
Цитата:
Ошибка #402: Import preset not work
Ошибка #406: Fix parser crash when start paused task after server restart
Ошибка #418: Дубли имен заданий на закладке "Добавить" в поле "Сохр. задание"
Ошибка #419: Fix {size} result in SE::Google::Images
Ошибка #420: Remove unsupported 'deflate' method from accept-encoding header
Ошибка #421: Fix SE::AOL parser
Улучшение #254: Проверка базы ссылок на наличие обратной ссылки + noindex + nofollow
Улучшение #393: Return Rank::Ahrefs parser
Улучшение #403: Now SE::Yandex can parse up to 1000 links per query

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Ср Мар 13, 2013 9:53 pmОтветить с цитатой


Прошёл ровно год с выхода первой бета-версии парсера, за это время A-Parser вырос до стабильной версии и зарекомендовал себя с лучшей стороны среди SEO-гуру, оставив всех конкурентов далеко позади.

Всего за год была проделана огромная работа:

  • Выпущено 39 обновлений
  • Сделано 195 улучшений
  • Закрыта 141 ошибка


Теперь A-Parser содержит в себе 40 полноценных парсеров поисковых систем и различных сервисов.

В честь такого праздника всем новым пользователям, которые приобретут A-Parser в период с 13.03.2013 до 20.03.2013, предоставляется 2 года бесплатных обновлений.
icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Мар 18, 2013 10:47 amОтветить с цитатой
A-Parser - версия 0.9.389

Парсер SE::Google теперь поддерживает распознавание каптчи через сервис АнтиКаптча


В парсере Net::HTTP появилась возможность загружать только заголовки страницы, для увеличения скорости и экономии трафика

Парсер SE::Yandex теперь парсит время индексации страницы, с возможностью фильтрации результатов по этому параметру


Улучшен парсер Check::BackLink:

  • Теперь можно определить был ли редирект на странице нахождения беклинка
  • В результат можно вывести актуальные ссылки страницы беклинка и проверяемой ссылки, а так же анкор проверяемой ссылки
  • Можно вывести весь список найденных ссылок(анкоров и nofollow) подпадающих под проверяемую ссылку


Добавлена кнопка выхода из парсера(повторный запрос пароля)

Исправлен парсер HTML::LinkExtractor - при использовании опции перехода по соседним ссылкам неверно добавлял дополнительные ссылки.

Связанные задачи:
Цитата:
Ошибка #427: Fix HTML::LinkExtractor parse to level option(wrong anchors adding to parsing queue)
Улучшение #401: Подключение antigate.com к парсеру Google
Улучшение #414: Сделать парсер http заголовков
Улучшение #416: Яндекс - дата индекса ссылки
Улучшение #422: сделать кнопку логаута
Улучшение #423: Улучшение модуля Check::BackLink
Улучшение #428: Normalize urls for HTML::LinkExtractor and Check::BackLink

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пт Мар 29, 2013 4:10 pmОтветить с цитатой
Расширение функциональной части A-Parser'а подтолкнуло меня на изменение мажорной версии Smile Встречайте версию 1.0.0!



Главное нововведение - конструктор запросов:



Конструктор запросов позволяет разделять исходный запрос на части и\или преобразовывать запросы. Основные возможности:


  • Разделение запроса на части с помощью регулярного выражения
  • Замена подстроки в запросе или замена регулярным выражением
  • Выделение домена\главного домена из ссылки
  • Добавление знака ! перед каждым словом в запросе(необходимо для парсера SE::Yandex::WordStat)
  • Приведение запроса к верхнему\нижнему регистру


Более подробно и с примерами можно прочитать на странице документации: [url=http://a-parser.com/projects/a-parser/wiki/Query_Builder_-_конструктор_запросов]Query Builder - конструктор запросов[/url]

Забегая вперёд расскажу о ближайших планах расширения функциональности:

  • Конструктор результатов - аналогично с запросами, только применимо к результатам, например будет возможно автоматически вырезать HTML теги из сниппетов
  • Парсинг цепочками - многоэтапная обработка запросов, когда результат от одного парсера будет подаваться на вход другому. Позволит объединить несколько действий в одном задании, например сбор ключевых слов и одновременная проверка частоты и конкурентности


Это приоритетные направления, помимо этого в задачах ещё множество идей которые будут воплощены в жизнь Smile

Другие изменения в этой версии:

  • Число результатов в парсере SE::QIP автоматически преобразовывается из строк "миллионов" и "тысяч"
  • Исправлен парсер Rank::Alexa в связи с изменением выдачи
  • Исправлен парсер SE::Yandex - на некоторых запросах мог долго обрабатывать страницу что приводило к зависанию


Связанные задачи:
Цитата:
Ошибка #430: Fix Rank::OpenSiteExplorer crash when IP banned
Ошибка #431: не правильный парсинг Алекса Ранк
Ошибка #432: 2 запроса {query}
Ошибка #437: Check::BackLink падает на некоторых ресурсах
Ошибка #438: Fix long SE::Yandex regex
Улучшение #380: Query builder
Улучшение #433: Число страниц определенного сайта в индексе Qip выводить числом

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Чт Апр 11, 2013 8:47 amОтветить с цитатой
A-Parser - версия 1.0.11

Обновилось API, добавлено 3 метода:

  • addTask - полноценное добавление задания, со всеми настройками
  • getTaskState - получение состояния задания(статистика выполнения, текущий статус)
  • changeTaskStatus - изменение статуса задания(пауза\старт\стоп\удаление)

Подробнее на страницы руководства: User API, взаимодействие с другими программами и скриптами

В конструкторе запросов теперь возможно разделять запрос через произвольный разделитель

Парсер SE::YouTube теперь дополнительно парсит ссылку на превью ролика

Исправлено:

  • Парсер SE::YouTube в связи с изменением верстки
  • Парсер SE::Yandex - исправлено определение даты попадания в индекс


Связанные задачи:
Цитата:
Ошибка #412: Can't edit task created from quick task menu
Ошибка #413: In quick task need to set unique queries for Parse to level with suggests
Ошибка #440: Fix {origquery} macros(bug introduced in 1.0.0)
Ошибка #445: Не работает парсер Youtube
Ошибка #449: SE::Yandex: баги с поиском даты
Улучшение #273: в API нету добавления задания
Улучшение #439: Разделение запроса через произвольный разделитель
Улучшение #441: сохранение прокси без указания типа(http://, socks://)
Улучшение #444: Парсер Youtube - ссылка на превью ролика
Улучшение #446: Get task state and change task status with API

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Пн Апр 29, 2013 2:38 pmОтветить с цитатой
A-Parser - версия 1.0.21

Улучшения:

  • Парсер Rank::MajesticSEO теперь также парсит показатели Trust Flow и Citation Flow
  • Возможность выбора языка результатов для парсеров SE::Yahoo и SE::Yahoo::Suggest
  • В парсер SE::Yandex добавлена поддержка домена yandex.kz
  • Теперь возможно вручную указать прокси для любого запроса, для этого необходимо создать результат {proxy} через Query Builder
  • В парсер Net::HTTP добавлена опция Detect charset on content, позволяющая автоматически определять кодировку страницы
  • В парсер Net::HTTP добавлен результат {proxy}, позволяющий отобразить использованный прокси при запросе
  • В API теперь возможно добавлять задания на основе ранее сохранённого пресета из интерфейса


Исправления:

  • SE::AOL в связи с изменениями в выдачи
  • SE::Google - исправлен парсинг Related keywords
  • Исправлено определение кодировки через тег <meta charset=


Цитата:
Ошибка #447: AOL parser not work again
Ошибка #452: Fix charset detecting for <meta charset= tag
Ошибка #460: Fix related keywords parsing in SE::Google
Улучшение #450: Добавить в модуль Net::HTTP {proxy}
Улучшение #451: Смена языка во всех парсерах yahoo(SE::Yahoo, SE::Yahoo::Suggest)
Улучшение #453: Добавить в Rank::MajesticSEO парсинг показателей Trust Flow и Citation Flow
Улучшение #454: API addTask брать настройки из Task preset
Улучшение #455: Ability for select save good proxies with type or not
Улучшение #456: Add yandex.kz domain for SE::Yandex
Улучшение #457: Add 'Detect charset on content' for Net::HTTP - automaticaly detect charset of content if meta charset/charset-encoding not specified
Улучшение #458: Now result {proxy} from Query Builder used as proxy for current query

icq: 777889 mail: [email protected]

Forbidden
Свой
Зарегистрирован: 18.02.2009
Сообщений: 66
Обратиться по нику
# Добавлено:Чт Май 16, 2013 7:57 amОтветить с цитатой
A-Parser - версия 1.0.27

Results Builder - конструктор результатов, позволяет редактировать и создавать новые результаты, поддерживает:


  • Поиск и извлечение данных по регулярному выражению
  • Замена по регулярному выражению
  • Разделение строки по произвольному разделителю
  • Замена подстроки в строке
  • Извлечение домена/главного домена из ссылки
  • Приведение к верхнему\нижнему регистру
  • Удаление HTML-тегов из текста
  • Преобразование HTML-entities(спец-символов начинающихся с амперсанда &) в соответствующий UTF-8 текст


Новый парсер SE::Google::Compromised - проверка наличия надписи This site may be compromised в гугле

Исправлено:

  • Обработка каптчи в парсере SE::Google
  • Парсинг ссылок в SE::Yandex содержащих дополнительную информацию в виде превью к играм, а так же ссылок помеченных как "инфицированные"
icq: 777889 mail: [email protected]
Новая тема Написать ответ    ГЛАВНАЯ ~ РЕКЛАМА И ОБЪЯВЛЕНИЯ

Перейти:  





Генеральный спонсор



Партнеры