АРМАДА
китай непройдет..
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Ср Окт 28, 2009 12:05 amДобавить в избранноеОтветить с цитатой
Г+Б+Я (ГБЯ) = гугль, бинг, яху..
______

давайте соберем, или найдем все китайские ИП подсетки ..
вот я знаю, что все ИП с 115. - китай..

зачем мне надо, уж на уровне htaccess этих резать,
т.к. у меня есть несколько адалт доменов, на которых много сабов, и страниц также..
и как я вижу, порой из именно китая, с какого то ИП, или с нескольких сразу идет тупая закачка всего что лежит.. конечно, трафик такие пони делают поболее чем боты от ГБЯ, в сумме..

и наверно если скажу, то неошибуся.. - это боты для сбора мыл с веба..
по другому, почему именно чисто из китая, пытаються выкачать весь мой сайт - незнаю даже..

также этих идиотов, забанить немогу ..

1) ------------------------------------------------

174.36.241.149
174.36.228.155
174.36.228.154
...
Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/20021130

через роботс.тхт:
User-agent: Spinn3r
Disallow: /

2) ------------------------------------------------

142.166.3.122
142.166.170.103
Agent: R6_CommentReader(www.radian6.com/crawler)

у этого вообще ненашел инфу, по спобосу его запрета через роботс, да и вообще жесть - http://www.radian6.com/crawler (404)
.. наверно на запрет в роботсе, он точно неотреагирует ?

- я так понимаю их только по ИПу, постоянно можно отлавливать и банить?

тогда, мне бы узнать - для чего эти ресурсы, и если я их буду методично по ИПам банить.. это непривидет к тому что, я запрещу к себе доступ ГБЯ ботов ?
т.е. точно, гугл/Бинг/Яху.. других ботов неюзает для проверки сайтов?

за искл. Бинг-а, хотя с подсетки их якобы серфер, идет с той же..

вот кстати, бинг-бот:
65.55.215.109
Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)

вообще, он еще умел(умеет) ходить с заполненным хттп-реферером, якобы с поисковика, но и тама и по сетки можно отследить, и еще есть какое какой мало заметный параметр, хотя кому надо его заметят.. и соотв. даже через пхп, только по мало заметному параметру, точно можно его ловить..

легко проверить, http://whois.sc/65.55.215.109
"OrgName: Microsoft Corp"
диапазон их, " NetRange: 65.52.0.0 - 65.55.255.255 "
- других сетей они неюзают .. или еще где нить есть ?
если кто то знает, про всех ГБЯ, отпишите, с каких они сетей могут ходить..
http://m.lsl.com/

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Вс Ноя 01, 2009 5:19 pmОтветить с цитатой
этот - Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/20021130

на запрет через роботс

User-agent: Spinn3r
Disallow: /

нереагирует..

есть идея, в самом пхп из по ИП/Агентам вылавливать.. и давать 403/404
но тогда будет запуск пхп скрипта под 10+ Кб, что также сделает доп. нагрузку.

на уровне роботс, htaccess - их банить, конечно менее ресурсоемко..


кстати, в строках "User-agent: Spinn3r" проверки на совпадение ЮА, боты регистро независимо делают ?

_______

также, говорят что много строк в htaccess, ведет к притормозке хоста ?
это так? а каких именно строк? или неважно.. - основное их количество ?
http://m.lsl.com/

andreyka
Свой
Зарегистрирован: 31.08.2007
Сообщений: 85
Обратиться по нику
# Добавлено:Вс Ноя 01, 2009 6:39 pmОтветить с цитатой
Блокируйте китай по geoip

Sergeyka
BIG AWM
Зарегистрирован: 26.12.2006
Сообщений: 3282
Обратиться по нику
# Добавлено:Пн Ноя 02, 2009 5:58 pmОтветить с цитатой
а зачем их резать?
вон на мастере чел скупает китай пачками, он нашел как этот траф смонетизировать!

нахуя банить то что можно продать?
eCoin.cc - налим чеки ваера и е-валюты и выводим на Анонимную маестро
Фотографии природы - Мое ХОББИ

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пн Ноя 02, 2009 9:44 pmОтветить с цитатой
нахуя банить то что можно продать?

>>

http://www.armadaboard.com/viewtopic.php?p=4662825#4662825

Цитата:
зачем мне надо, уж на уровне htaccess этих резать,
т.к. у меня есть несколько адалт доменов, на которых много сабов, и страниц также..
и как я вижу, порой из именно китая, с какого то ИП, или с нескольких сразу идет тупая закачка всего что лежит.. конечно, трафик такие пони делают поболее чем боты от ГБЯ, в сумме..

и наверно если скажу, то неошибуся.. - это боты для сбора мыл с веба..
по другому, почему именно чисто из китая, пытаються выкачать весь мой сайт - незнаю даже..

также этих идиотов, забанить немогу ..



Sergeyka, это не живой трафик, это явно боты, меил-граберы или что нить подобное..
даже если кто то меня пытаеться выкачать из Китая, то это явно только один живой серфер.. в месяц которых .. таких можно пересчитать по копытам..
он явно мне трафика сделает в раз 1000 больше, чем я получу, если его куда то продам..

_____________


вот еще какой то бот,

http://www.gigablast.com/spider.html
Agent: Gigabot/3.0 (http://www.gigablast.com/spider.html)

- что это за проект такой? С гуглем/Бингом/Яху связан как то.. - просто на http://www.gigablast.com/spider.html стоит текст:
Gigabot now supports the Crawl-delay directive. и ссылка на Яху..

интересно, robots.txt
User-agent: Gigabot
Disallow: /
- его остановят ? .. нивижу тама нигде информации для роботс.тхт,
есть только решения запрета ему, через мета-хтмл..
http://m.lsl.com/

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пн Ноя 02, 2009 10:41 pmОтветить с цитатой
Блокируйте китай по geoip

у меня домены на обычных шаредах..
и чтоб узнать двух-значный-пони код страны визитера, надо подгрузить 1Мб файл.. думаю на трафика более чем 1 хит/сек.. будут высокие нагрузки..
+ а у меня тама не один домен, где также надо реализовать такое..

вродебы, данный модуль должен быть вшит в пхп, чтоб ничего неподгружать каждый раз.. но на тех хостах, где я игого, сам такую возможность ненашел (может её и нет), и саппорт особо нехотел решать пони-проблему, и также мне посоветовал сделать самому через 1 Мб файл.. может потому что, все ОК будет и с 1Мб .. но мне сцыкотно..

вообщем, проще все сетки узнать, и забанить динамикой в пхп, или же через хтаксесс..

да и нестоит ради ограничения китая, доп. модули юзать..
http://m.lsl.com/

andreyka
Свой
Зарегистрирован: 31.08.2007
Сообщений: 85
Обратиться по нику
# Добавлено:Чт Ноя 05, 2009 9:28 amОтветить с цитатой
На шаредах нет mod_geoip? Фтопку такие шареды.
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры