АРМАДА
Как парсить местные новости?
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

m_Stasuk
Дизайнер
Зарегистрирован: 23.12.2007
Сообщений: 5967
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Пт Мар 22, 2013 1:00 pmДобавить в избранноеОтветить с цитатой
Привет!
Давно не виделись, а кто-то вообще может быть меня не знает Smile

Есть региональный сайт, на котором я хочу размещать местные новости, которые не хочу писать сам, а хочу парсить с источников и 1 в 1 постить у себя. Как такое сделать?

Я в этой теме вообще ноль, распишите, пожалуйста, подробно. А если кто-то сможет помочь технически, я вообще буду благодарен.
Зарабатываю на рускамзе
Ростов-на-Дону

Natud
V.I.P.
Зарегистрирован: 26.10.2010
Сообщений: 1786
Обратиться по нику
# Добавлено:Пт Мар 22, 2013 4:10 pmОтветить с цитатой
А RSS у доноров есть?
Есть варианты RSS грабить. Тем же zerber'ом к примеру, он и постить умеет в некоторые движки.

Развитие зербера остановилось, но софт работоспособен до сих пор.

Или прогеру заказать, если список доноров заранее известен и верстка у них не часто меняется, самый лучший вариант, имхо.

Content Downloader очень гибок в настройках, но чтобы им постить надо извращаться.

Toulan
V.I.P.
Зарегистрирован: 12.07.2012
Сообщений: 3172
Обратиться по нику
# Добавлено:Пт Мар 22, 2013 4:23 pmОтветить с цитатой
А разве это не скажется негативно на сайте? Ведь это по сути копипаст.

Yabuti
V.I.P.
Зарегистрирован: 28.11.2008
Сообщений: 16263
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Пт Мар 22, 2013 4:41 pmОтветить с цитатой
Привет, m_Stasuk! Smile
Проще всего rss или atom брать, если есть, как уже сказал Natud.
Если ленты нет, то заказать скрипт для парсинга с прямым выводом или обработкой. На php выйдет дешевле всего и универсальное решение (либо чистый php, либо php+curl, если нужна эмуляция).

Вот простой скрипт-образец, выбирает все между двумя тегами заданной страницы (для кириллицы - дополнительно перекодируем либой a.charset.php):
Код:
<?php

$html = file_get_contents('http://litres.se/');

$pattern = '#\<article\>(.*)\<\/article\>#s';
preg_match_all($pattern,$html, $news);

print_r($news[1]);

?>


Берет все между тегами <article> и </article>.

Основные проблемы в этой задаче - нормальный парсинг источника (чтобы отдавал контент без подводных камней и препон) и дальнейшая очистка и подготовка к публикации.
Ксен ВПС и выделенные серверы от PQCService.net с бесплатным администрированием в 7 локациях, icq: 87244588
--

m_Stasuk
Дизайнер
Зарегистрирован: 23.12.2007
Сообщений: 5967
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Пт Мар 22, 2013 6:04 pmОтветить с цитатой
Toulan, если новости появляются у меня и у источника и при этом количество уникального контента на моем сайте велико — проблем не будет.

Пока буду переваривать, спасибо за подсказки, парни.
Зарабатываю на рускамзе
Ростов-на-Дону

Doc
V.I.P.
Зарегистрирован: 31.03.2010
Сообщений: 4909
Обратиться по нику
# Добавлено:Пн Мар 25, 2013 1:24 pmОтветить с цитатой
Цитата:
А разве это не скажется негативно на сайте? Ведь это по сути копипаст.


Цель парсига не идексация, а предоставление пользователям полезного контента в одном месте, без утомительного лазания по другим сайтам.

Polaris
V.I.P.
Зарегистрирован: 23.03.2010
Сообщений: 3653
Обратиться по нику
# Добавлено:Вт Мар 26, 2013 1:30 pmОтветить с цитатой
Тоже вопрос к тем кто парсит новости. Откуда это делаете?

mordehay
Свой
Зарегистрирован: 02.02.2013
Сообщений: 25
Обратиться по нику
# Добавлено:Пн Апр 29, 2013 9:52 pmОтветить с цитатой
Doc писал(а):
Цитата:
А разве это не скажется негативно на сайте? Ведь это по сути копипаст.


Цель парсига не идексация, а предоставление пользователям полезного контента в одном месте, без утомительного лазания по другим сайтам.


Сорри, но для меня актуален вопрос: :ks: -С ссылкой на источник? или.. за счет траста...плевать?

DrKronos
SEO-доктор
Зарегистрирован: 11.03.2008
Сообщений: 13024
Moder (Сумма: 1)
Обратиться по нику
# Добавлено:Пн Апр 29, 2013 10:55 pmОтветить с цитатой
mordehay, с ссылкой конечно. В чем боязнь ставить ссылки?
Oscar the grouch Здесь могла быть ваша реклама

mordehay
Свой
Зарегистрирован: 02.02.2013
Сообщений: 25
Обратиться по нику
# Добавлено:Вт Апр 30, 2013 12:56 pmОтветить с цитатой
DrKronos писал(а):
mordehay, с ссылкой конечно. В чем боязнь ставить ссылки?


Да как то, думал так :ks:
3 новости в день(минимум) на 30 днёв=90 ссылей ежемесячно на 12 мес
(но, на один рес?)
Стандартная боязнь новичка на исход-ие Mad

DrKronos
SEO-доктор
Зарегистрирован: 11.03.2008
Сообщений: 13024
Moder (Сумма: 1)
Обратиться по нику
# Добавлено:Вт Апр 30, 2013 1:35 pmОтветить с цитатой
Это же ссылки на источник, а не "купить дипломы оптом". Энциклопедическая ценность статьи вырастает, если указаны источники. Поисковый бот видит, что ты не плагиатишь, а цитируешь.
Oscar the grouch Здесь могла быть ваша реклама

mordehay
Свой
Зарегистрирован: 02.02.2013
Сообщений: 25
Обратиться по нику
# Добавлено:Вт Апр 30, 2013 2:05 pmОтветить с цитатой
DrKronos писал(а):
Это же ссылки на источник, а не "купить дипломы оптом". Энциклопедическая ценность статьи вырастает, если указаны источники. Поисковый бот видит, что ты не плагиатишь, а цитируешь.


Виноват, не так спросил. Проэкт не для продажи ссылок, тогда? А СДЛ-с монетизацией трафа? (корявые вопросы? сорри) :ks:

DrKronos
SEO-доктор
Зарегистрирован: 11.03.2008
Сообщений: 13024
Moder (Сумма: 1)
Обратиться по нику
# Добавлено:Вт Апр 30, 2013 3:13 pmОтветить с цитатой
mordehay, топик про СДЛ.
Oscar the grouch Здесь могла быть ваша реклама

mordehay
Свой
Зарегистрирован: 02.02.2013
Сообщений: 25
Обратиться по нику
# Добавлено:Вт Апр 30, 2013 3:16 pmОтветить с цитатой
DrKronos писал(а):
mordehay, топик про СДЛ.


Мне очень стыдно, за невнимательность :ks:

Spurius
Свой
Зарегистрирован: 28.11.2012
Сообщений: 11
Обратиться по нику
# Добавлено:Пн Май 06, 2013 2:50 amОтветить с цитатой
m_Stasuk писал(а):
Привет!
Есть региональный сайт, на котором я хочу размещать местные новости, которые не хочу писать сам, а хочу парсить с источников и 1 в 1 постить у себя. Как такое сделать?



Ночной Бдун Smile wm.alensoft.com, в режиме парсера - бесплатный. (один месяц)
Делите, складываете источники по каналам, рубрикам, по времени запускается, парсит.

По видео - можно разобраться как каналы настраиваются.

Публикатор - платный :`( :`( :`(

Хорошая прога ИМХО.
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры