АРМАДА
VaLaR Grabber
Новая тема Написать ответ

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Ср Dec 30, 2009 11:19 pmДобавить в избранноеОтветить с цитатой

VaLaRGrabber - универсальная система, позволяющая наполнять Ваш сайт новостями с большинства DLE сайтов. С помощью данного продукта, написанного на php Вы можете размещать новости на следующих CMS:

- DataLife Engine
- Invision Power Board
- Joomla
- LiveStreet
- phpBB
- Simple Machines Forum
- WordPress

-----------------------------------------------------------------------------------------------------------------------


Особенности скрипта:

  • Скрипт является самостоятельной системой.
    Он легко устанавливается и конфигурируется.


  • Универсальность.
    Граббер позволяет получать контент с большинства DLE-сайтов (не используя RSS), а полученный контент
    можно использовать на любом сайте, независимо от того, базируется он на популярной CMS или на самописном скрипте.
    Данную систему можно научить парсить новости с любого сайта, обладая начальными навыками PHP и HTML.


  • Гибкость - два режима работы.
    >>Классический режим:
    В этом режиме дистрибутив граббера копируется непосредственно на Ваш сайт.
    Все что нужно - указать тип используемой CMS.
    Полученные новости, после их подтверждения, автоматически размещаются у Вас на сайте.

    >>Пакетный режим:
    Суть режима заключается в разделении процесса получения новостей от их добавления.
    Грабить новости вы можете на своем локальном сервере (для пользователей Windows отлично подойдет набор denwer),
    скрипт в этом режиме будет формировать специальные пакеты (.php файлы), которые, впоследствии, копируются на Ваш сайт, где другая копия граббера их обрабатывает.
    Преимущества данного режима:

    • Возможность грабить большое количество статей одновременно, если этого не позволяет делать Ваш хостинг;
    • Если вы грабите долгое время с одного сайта, рано или поздно, Ваш IP на этом сайте может быть просто забанен,
      а если грабить с локального сервера - тут Вам на помощь прокси и/или динамический IP.


  • Функциональность.

    • Поддержка авторизации на сайте-источнике для получения элементов, недоступных гостям;
    • Поддержка мультиграббинга (одновременное использование одной копии граббера для работы с множеством источников)
    • Возможность получения новостей определенной категории или всех новостей, публекуемых на главной странице;
    • Возможность ограничения количества одновременных запросов с указанием интервала для паузы;*
    • Возможность добавления "случайных" дат при размещении новостей на Вашем сайте (перемешивание новостей);
    • Возможность проверки новости на уникальность перед добавлением;
    • Возможность поэтапного добавления новостей на Ваш сайт;
    • Возможность автоматического определения категории новости по её содержимому (с помощью шаблонов);
    • Возможность автоматического добавления "подписей" в новости, где можно указать сайт, например, сайт-источник или ключевые слова;
    • Возможность цензурирования новостей (замены или удаления текста по точным совпадениям или шаблонам);
    • Возможность "чистки" HTML-кода новости (начиная от удаления html-комментариев, заканчивая удалением ненужных конструкций);
    • Возможность синонимизации текста (в дистрибутив входят две открытые базы синонимов);
    • Возможность синонимизации текста с помощью Google Translate;
    • Возможность добавления (в том числе и загрузки на сервер в двух режимах) потоковых видео (IMDb) с замещением flash-проигрывателя;
    • Возможность загрузки картинок на сервер (с возможностью сортировки в разные папки по дате, титулу...);
    • Возможность наложения водяных знаков на загружаемые картинки;
    • Возможность расшифровки DLE ссылок (./engine/go.php);
    • Возможность использования прокси-сервера для соединения с сайтом-источником;

    • Возможность адаптирования скрипта под сайты, которые имеют нестандартную HTML-структуру;

    • Возможность запуска скрипта через CRON;
    • Возможность сохранения списка последних спарсенных сайтов;
    • Возможность уменьшения картинок на уровне самих файлов или HTML-кода;
    • Возможность добавления новостей от случайного автора из списка;
    • Возможность добавления meta-данных (ключевых слов и описание) в следующих режимах:
      а) парсинг непосредственно с сайта-источника;
      б) с помощью автоматической системы получения ключевых слов через анализ контента;
      в) по собственным шаблонам;
    • Наличие универсального модуля загрузки файлов: он может использоваться для загрузки любого типа файлов (будь-то .swf flash-ролики и/или .rar архивы)
    • Наличие встроенного редактора новостей;
    • Наличие встроенного онлайн синонимизатора (для проверки баз);
    • Наличие универсального конвертора формата текстовых баз синонимов;
      А также многое другое...

    * - На некоторых DLE (да и не только) сайтах стоит анти-спам защита (ограничение количества обращений с одного IP в период времени). Данный скрипт имеет опцию ограничения количества одновременных запросов с указанием интервала для паузы. Что, конечно, увеличивает время граббинга, но все же оставляет его автоматизированным даже на сайтах с анти-спам защитой.
    Данная опция также может быть полезна, если на Вашем хостинге отключена стандартная функция снятия ограничения времени выполнения скрипта.
    (на большинстве серверов она по понятным причинам как раз отключена). В этом случае, обычно, вылетает ошибка 403 (Forbidden).




  • Оптимизация.
    Работа с граббером максимально нацелена на оптимизацию. Все конфиги расположены в отдельной директории и максимально документированы. С моей стороны гарантируется помощь в настройки системы.


  • Надеждый механизм работы.
    Весь полученный контент хранится в директориях скрипта и может быть использован при повторном запросе на получение тех же статей.
    Это очень полезно, если объем получаемого контента большой, - ведь в этом случае возобновление работы
    после любого сбоя не представляет проблем
    , достаточно заного указать начальную и конечную страницы,
    а скрипт сам определит какие из статей уже получены, а какие предстоит сграбить.


  • Расширяемость.
    С граббером поставляется и документация к нему с описанием функций и структуры. Ключевые его элементы подробно закомментированы и
    расположены в отдельных библиотеках, что позволит оптимизировать или расширить
    функционал скрипта даже начинающему программисту
    . В граббер, также, встроен простой, но удобный механизм подключения
    собственных модулей по обработке контента.


  • Безопасность.
    Граббер имеет встроенный механизм авторизации для ограничения доступа к скрипту.
    Данную функцию можно включить и выключить в любой момент.


  • Выгодные условия.
    Стоимость данного скрипта - 35 WMZ. Форма оплаты - WebMoney.
    При покупке вы получаете:

    • Полный дистрибутив скрипта с открытым исходным кодом и документацией;
    • Следующие драйвера:


      • DLE 7.x / 8.x
      • IPB
      • SMF
      • WordPress
      • phpBB 3.0.x
      • LiveStreet
      • Joomla
      • Конвертор новостей в текстовые файлы
      • Универсальный драйвер удаленного импорта новостей для сайтов, на которых нельзя разместить свой сторонний php код (например, ucoz)

    • Множество модулей по обработке новостей;
    • Отсутствие ограничений по времени использования;
    • Бесплатную техническую поддержку по электронной почте и ICQ в течении месяца;
    • Бесплатные обновления в течении 6 месяцев;




  • Итого
    По любым вопросам вы можете обращаться по ICQ: 494-897-304.
    Если Вас заинтересовал граббер, я могу предоставить ссылку на демонстрационную онлайн версию,
    где вы можете протестировать его на сайтах, которые Вам интересны. Пишите!




-------------------------------------------------------------------------

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Ср Мар 17, 2010 11:41 pmОтветить с цитатой
На следующей недели будет выпущена новая версия.

До 25 марта цена граббера будет составлять 25 wmz

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Ср Мар 24, 2010 9:08 pmОтветить с цитатой
Рад сообщить о выходе новой версии. Цена на скрипт составляет 35 wmz.
За дополнительную плату могу адаптировать скрипт для парсинга любого сайта.



- Добавлена возможность перевода новостей на другие языки;
- Добавлена система профайлов для возможности использования различной конфигурации при парсинге различных источников;
- Добавлена система контроля добавляемых новостей по белому и черному списках;
- Добавлена поддержка парсинга (или генерация) облака тегов;
- Множество различных улучшений и инноваций, обеспечивающий мощный инструмент SEO-специалистам по редактированию новостей;

zeoman
V.I.P.
Зарегистрирован: 19.03.2008
Сообщений: 3708
Обратиться по нику
# Добавлено:Ср Мар 24, 2010 10:06 pmОтветить с цитатой
SergeyGr, привязки к домену|ip совсем никакой нет?

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Чт Мар 25, 2010 2:05 pmОтветить с цитатой
zeoman писал(а):
SergeyGr, привязки к домену|ip совсем никакой нет?



В граббере отсутствует какая-либо привязка.

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Пн Апр 19, 2010 8:50 pmОтветить с цитатой
По просьбе клиентов описываю дополнительные услуги:

- написание драйвера для импорта контента на любой сайт (от 10 wmz)
- написание ядра для экспорта (парсинга) контента с любого типа сайта (от 10 wmz)
- продление технической поддержки на месяц (15 wmz)
- Продажа дополнительных ключей для крона (0,5 wmz за ключ)

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Вс Май 16, 2010 11:30 amОтветить с цитатой
До 25 мая - скидка 30%

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Пт Июл 09, 2010 4:25 pmОтветить с цитатой
Сегодня выпущено обещанное обновление скрипта. Текущая версия - 6.4 R1

Краткий лог изменений:

- Добавлена возможность фильтрации добавляемых новостей по их авторам на сайте-источнике;
- Исправлены проблемы совместимости скрипта с DLE 8.5;
- Исправлены проблемы с сервисами Google Translate;
- Добавлены новые модификаторы ссылок для SEO-оптимизации новостей;
- Добавлен собственный инструмент для кодирования ссылок по уникальному алгоритму для защиты собственных новостей от копирования;
- Добавлена возможность загрузки картинок на хостинги изображений imageshack и Radikal;
- Добавлена функция обновления новостей, ранее размещенных на сайте (замена новостей);
- Улучшена алгоритм чтения DLE сайтов;
- И многое другое...



Стоимость скрипта составляет 35 wmz или эквивалент в рублях.
Для клиентов предоставляются дополнительные платные услуги по расширению функционала граббера.
Обновления для клиентов в течении 6 месяцев - бесплатно.

SergeyGr
Свой
Зарегистрирован: 30.12.2009
Сообщений: 8
Обратиться по нику
# Добавлено:Вт Авг 31, 2010 1:37 pmОтветить с цитатой
Отпуск закончился. В настоящее время я собираю идеи для новой версии граббера, а также продаю текущую Smile

Стоимость скрипта - 35 вмз. Чтобы ознакомиться с демо версией - напишите мне в ICQ.
Новая тема Написать ответ    ГЛАВНАЯ ~ РЕКЛАМА И ОБЪЯВЛЕНИЯ

Перейти:  





Генеральный спонсор



Партнеры