|
|
IseeDeadPeople Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21230
|
Обратиться по нику
|
IseeDeadPeople |
Ответить с цитатой | | |
|
Г+Б+Я (ГБЯ) = гугль, бинг, яху..
______
давайте соберем, или найдем все китайские ИП подсетки ..
вот я знаю, что все ИП с 115. - китай..
зачем мне надо, уж на уровне htaccess этих резать,
т.к. у меня есть несколько адалт доменов, на которых много сабов, и страниц также..
и как я вижу, порой из именно китая, с какого то ИП, или с нескольких сразу идет тупая закачка всего что лежит.. конечно, трафик такие пони делают поболее чем боты от ГБЯ, в сумме..
и наверно если скажу, то неошибуся.. - это боты для сбора мыл с веба..
по другому, почему именно чисто из китая, пытаються выкачать весь мой сайт - незнаю даже..
также этих идиотов, забанить немогу ..
1) ------------------------------------------------
174.36.241.149
174.36.228.155
174.36.228.154
...
Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/20021130
через роботс.тхт:
User-agent: Spinn3r
Disallow: /
2) ------------------------------------------------
142.166.3.122
142.166.170.103
Agent: R6_CommentReader(www.radian6.com/crawler)
у этого вообще ненашел инфу, по спобосу его запрета через роботс, да и вообще жесть - http://www.radian6.com/crawler (404)
.. наверно на запрет в роботсе, он точно неотреагирует ?
- я так понимаю их только по ИПу, постоянно можно отлавливать и банить?
тогда, мне бы узнать - для чего эти ресурсы, и если я их буду методично по ИПам банить.. это непривидет к тому что, я запрещу к себе доступ ГБЯ ботов ?
т.е. точно, гугл/Бинг/Яху.. других ботов неюзает для проверки сайтов?
за искл. Бинг-а, хотя с подсетки их якобы серфер, идет с той же..
вот кстати, бинг-бот:
65.55.215.109
Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.2; .NET CLR 1.1.4322)
вообще, он еще умел(умеет) ходить с заполненным хттп-реферером, якобы с поисковика, но и тама и по сетки можно отследить, и еще есть какое какой мало заметный параметр, хотя кому надо его заметят.. и соотв. даже через пхп, только по мало заметному параметру, точно можно его ловить..
легко проверить, http://whois.sc/65.55.215.109
"OrgName: Microsoft Corp"
диапазон их, " NetRange: 65.52.0.0 - 65.55.255.255 "
- других сетей они неюзают .. или еще где нить есть ?
если кто то знает, про всех ГБЯ, отпишите, с каких они сетей могут ходить.. |
|
|
|
|
|
Instant Porno Access |
IseeDeadPeople Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21230
|
Обратиться по нику
|
IseeDeadPeople |
Ответить с цитатой | | |
|
этот - Agent: Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.2.1; aggregator:Spinn3r (Spinn3r 3.1); http://spinn3r.com/robot) Gecko/20021130
на запрет через роботс
User-agent: Spinn3r
Disallow: /
нереагирует..
есть идея, в самом пхп из по ИП/Агентам вылавливать.. и давать 403/404
но тогда будет запуск пхп скрипта под 10+ Кб, что также сделает доп. нагрузку.
на уровне роботс, htaccess - их банить, конечно менее ресурсоемко..
кстати, в строках "User-agent: Spinn3r" проверки на совпадение ЮА, боты регистро независимо делают ?
_______
также, говорят что много строк в htaccess, ведет к притормозке хоста ?
это так? а каких именно строк? или неважно.. - основное их количество ? |
|
|
|
|
|
Instant Porno Access |
andreyka Свой |
Зарегистрирован: 31.08.2007
Сообщений: 85
|
Обратиться по нику
|
|
|
|
Sergeyka BIG AWM |
Зарегистрирован: 26.12.2006
Сообщений: 3282
|
Обратиться по нику
|
Sergeyka |
Ответить с цитатой | | |
|
а зачем их резать?
вон на мастере чел скупает китай пачками, он нашел как этот траф смонетизировать!
нахуя банить то что можно продать? |
|
|
|
|
|
eCoin.cc - налим чеки ваера и е-валюты и выводим на Анонимную маестро
Фотографии природы - Мое ХОББИ |
IseeDeadPeople Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21230
|
Обратиться по нику
|
IseeDeadPeople |
Ответить с цитатой | | |
|
нахуя банить то что можно продать?
>>
http://www.armadaboard.com/viewtopic.php?p=4662825#4662825
Цитата: |
зачем мне надо, уж на уровне htaccess этих резать,
т.к. у меня есть несколько адалт доменов, на которых много сабов, и страниц также..
и как я вижу, порой из именно китая, с какого то ИП, или с нескольких сразу идет тупая закачка всего что лежит.. конечно, трафик такие пони делают поболее чем боты от ГБЯ, в сумме..
и наверно если скажу, то неошибуся.. - это боты для сбора мыл с веба..
по другому, почему именно чисто из китая, пытаються выкачать весь мой сайт - незнаю даже..
также этих идиотов, забанить немогу ..
|
Sergeyka, это не живой трафик, это явно боты, меил-граберы или что нить подобное..
даже если кто то меня пытаеться выкачать из Китая, то это явно только один живой серфер.. в месяц которых .. таких можно пересчитать по копытам..
он явно мне трафика сделает в раз 1000 больше, чем я получу, если его куда то продам..
_____________
вот еще какой то бот,
http://www.gigablast.com/spider.html
Agent: Gigabot/3.0 (http://www.gigablast.com/spider.html)
- что это за проект такой? С гуглем/Бингом/Яху связан как то.. - просто на http://www.gigablast.com/spider.html стоит текст:
Gigabot now supports the Crawl-delay directive. и ссылка на Яху..
интересно, robots.txt
User-agent: Gigabot
Disallow: /
- его остановят ? .. нивижу тама нигде информации для роботс.тхт,
есть только решения запрета ему, через мета-хтмл.. |
|
|
|
|
|
Instant Porno Access |
IseeDeadPeople Объединенная Электрическая |
Зарегистрирован: 06.12.2005
Сообщений: 21230
|
Обратиться по нику
|
IseeDeadPeople |
Ответить с цитатой | | |
|
Блокируйте китай по geoip
у меня домены на обычных шаредах..
и чтоб узнать двух-значный-пони код страны визитера, надо подгрузить 1Мб файл.. думаю на трафика более чем 1 хит/сек.. будут высокие нагрузки..
+ а у меня тама не один домен, где также надо реализовать такое..
вродебы, данный модуль должен быть вшит в пхп, чтоб ничего неподгружать каждый раз.. но на тех хостах, где я игого, сам такую возможность ненашел (может её и нет), и саппорт особо нехотел решать пони-проблему, и также мне посоветовал сделать самому через 1 Мб файл.. может потому что, все ОК будет и с 1Мб .. но мне сцыкотно..
вообщем, проще все сетки узнать, и забанить динамикой в пхп, или же через хтаксесс..
да и нестоит ради ограничения китая, доп. модули юзать.. |
|
|
|
|
|
Instant Porno Access |
andreyka Свой |
Зарегистрирован: 31.08.2007
Сообщений: 85
|
Обратиться по нику
|
|
|
|
|
|
Партнеры
|