АРМАДА
Уводят посты с блога
На страницу Пред.  1, 2
Новая тема Написать ответ
Пт Dec 19, 2008 9:45 pm Start Post: Уводят посты с блога 

Soeti
Профессионал
Зарегистрирован: 05.06.2009
Сообщений: 616
Обратиться по нику
# Добавлено:Пн Июн 08, 2009 10:11 pmОтветить с цитатой
Впервые я увидел ЭТО тут:

http://www.globalsecurity.org/robots.txt


Больше такого я нигде не встречал..
Я очень совневаюсь, что ресурс такого уровня страдает от нехватки серверных мощностей.

И тем не менее очевидно, что robots.txt серьезно ограничивает граббинг контента. Что там в htaccess можно только гадать..
оо.....какие быстрые машинки!(переходя на Красный)

creator123
Гуру
Зарегистрирован: 25.07.2007
Сообщений: 1145
Обратиться по нику
# Добавлено:Пн Июн 08, 2009 10:41 pmОтветить с цитатой
Soeti писал(а):
Впервые я увидел ЭТО тут:
http://www.globalsecurity.org/robots.txt



ну и что. ну и пусть. абсолютно бестолковая и ненужная вещь.
против грабберов это не поможет нисколько. Хотя чего, пусть, сервер железный, все стерпит.
<----- если понравился пост, жмакай сюды <-----

Soeti
Профессионал
Зарегистрирован: 05.06.2009
Сообщений: 616
Обратиться по нику
# Добавлено:Вт Июн 09, 2009 9:21 amОтветить с цитатой
creator123, думаете его администрируют люди глупее?
Вася, который с под винды решил слить себе сайт, напорется с нехилыми проблемами. И далеко не все знают программирование, чтоб написать/переписать граббер под этот сайт.
Определенно ничего плохого такой robots не несет, а вот сокращает лишний траф - это да.

зы.
Я не удивлюсь, что роботс пишет специальный скрипт, который анализирует логи и автоматически добавляет лишние юзер-агенты в disallow, а может и в htaccess deny для особо резвых.
оо.....какие быстрые машинки!(переходя на Красный)
Новая тема Написать ответ    ГЛАВНАЯ ~ СОЦИАЛЬНЫЕ СЕТИ И БЛОГИ

Перейти:  





Генеральный спонсор



Партнеры