АРМАДА
комплесная инфа (факты) по русским СЕ и западным СЕ..
Новая тема Написать ответ

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 21155
Обратиться по нику
# Добавлено:Ср Сен 23, 2009 1:19 amДобавить в избранноеОтветить с цитатой
топик рассчитан на новичков, и как бы тех.-теор знания, по самой оптимизации ненесет..
зато, для совершенно белых проектов, думаю эта инфа будет полезна
пишите вопросы тут, и я буду задавать их также..

ЯНДЕКС: http://help.yandex.ru/webmaster/ (вебмастерская/добавить сайт/проверить на индекс..)

но я его забанил.. - он хоть конечно не так агрессивен и туп как Куила Твиселер.. но всеравно..
/////// robots.txt в корне домена, или в корне сабов.. ///////
User-agent: Yandex
Disallow: /


http://www.majesticseo.com/ : .. ввести свой домен вверху..

также забанил, хотя может он поможет всем оценить стоимость какого нить сайта..
/////// robots.txt в корне домена, или в корне сабов.. ///////
User-agent: MJ12bot
Disallow: /

_______

также, если у вас англ. адалт сайты/блоги/сплоги..
вернее если на домене много страничек.. и идет оплата за трафик.. то можете юзать мой robots.txt
Код:

User-agent: *
Crawl-delay: 5

User-agent: Twiceler
Disallow: /

User-agent: GingerCrawler
Disallow: /

User-agent: Yandex
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: robotgenius
Disallow: /

User-agent: dotbot
Disallow: /


если доверяете..

есть трабл: вот как бы боту сказать, чтоб он держал интервал
ведь правила в роботс.тхт относяться только в тому домену/сабу.. на котором он сидит.. как нить правила с него можно на все сабы переложить.. но на сабах он такой же должен быть по содержанию..
или можно попробовать, на сабах его давать в другом виде..
сделаю.. лижбы знать как бы сказать ботам, что интервал в 5 сек.. на домен и на все его сабдомены..
иначе.. он соблюдает интервал.. для каждого домена в отдельности..
и если даже на 100 сабах стоит интервал в 5 сек..
то это может давать и по 100 хитов каждые 5 сек, т.е. частота 100/5 = 20 хитов в 1 сек.. (20 Герц)
т.е. перебор уже в 100 раз..

______

.. и еще раз хочу сказать про хосты, .. т.е. скажу зачем мне приходиться банить таких ботов.. - потом допишу..
ConnectX: Единый порно сайт подрочить Porno Cam, для adult вебмастеров, webcam моделей

shhef +
V.I.P.
Зарегистрирован: 14.09.2007
Сообщений: 7694
Обратиться по нику
# Добавлено:Ср Сен 23, 2009 7:05 amОтветить с цитатой
я еще бы добавлил:

Код:
User-Agent: larbin_2.6.3
Disallow: *

User-Agent: OmniExplorer_Bot/1.09
Disallow: *


Облачный сервер за 5 у.е. + 10 у.е на счет при регистрации по моей ссылке. Разные страны! Лучший треккер!

PistoGanza
Свой
Зарегистрирован: 13.07.2009
Сообщений: 60
Обратиться по нику
# Добавлено:Ср Сен 23, 2009 12:08 pmОтветить с цитатой
По моему это бред - банить яндекс и пытаться сэкономить дэцл процессора.

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 21155
Обратиться по нику
# Добавлено:Ср Сен 23, 2009 6:54 pmОтветить с цитатой
PistoGanza писал(а):
По моему это бред - банить яндекс и пытаться сэкономить дэцл процессора.



Clapping

.. у меня на некоторых доменах под 7500+ сабов..
и никакие кравл-делей бота неостанавливают.. (писал выше)
даже не проц, а трафик в несколько ГБ за мес. только от яндекс-бота.. и в ответ - практически ничего, и даже на инглиш ресурс, мне РУ трафик ненужен, еслиб он там был..

также надо смотреть, что я привожу список из нескольких ботов, и вот еще сравнение экономичности бана их.. - яндекс-бот, по сравнению с твиселером - мягкая пони..

shhef,
спасибо, но я оперативно/ежедневно проверяю последние_хиты/ суммарную стату за вчера, .. и эти боты/агенты.. меня пока небеспокоили так чтоб я их заметил..

есть еще в бане несколько ИП адресов, оттуда непойми что залетает .. но это уже для каждого думаю своё..
ConnectX: Единый порно сайт подрочить Porno Cam, для adult вебмастеров, webcam моделей

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 21155
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 9:03 pmОтветить с цитатой
shhef писал(а):
я еще бы добавлил:

Код:
User-Agent: larbin_2.6.3
Disallow: *





.. если уж и банить, то всех ларбинов..
т.е.

User-Agent: larbin
Disallow: *( | Disallow: /)

и помоему правильнее не Disallow: *, а Disallow: /

вот инфа - http://www.armadaboard.com/viewtopic.php?t=22833&highlight=larbin

_________

http://www.globalsecurity.org/robots.txt
ConnectX: Единый порно сайт подрочить Porno Cam, для adult вебмастеров, webcam моделей
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ

Перейти:  





Генеральный спонсор



Партнеры