АРМАДА
Откуда приходит Яха
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

user00
Профессионал
Зарегистрирован: 24.07.2006
Сообщений: 717
Обратиться по нику
# Добавлено:Сб Фев 24, 2007 1:58 amДобавить в избранноеОтветить с цитатой
Почему бот Yahoo приходит с этого урла http://help.yahoo.com/help/us/ysearch/slurp ?
Буржуи хотят насилия! Ratio 1:80

parovoz
Опытный
Зарегистрирован: 23.10.2005
Сообщений: 282
Обратиться по нику
# Добавлено:Сб Фев 24, 2007 3:33 amОтветить с цитатой
с чего это ты взял, что он оттуда приходит?
Моя бабушка читает газету "ЖИЗНЬ"

user00
Профессионал
Зарегистрирован: 24.07.2006
Сообщений: 717
Обратиться по нику
# Добавлено:Сб Фев 24, 2007 4:10 amОтветить с цитатой
parovoz писал(а):
с чего это ты взял, что он оттуда приходит?


Логи читаю:
74.6.67.201 - - [17/Feb/2007:07:16:35 -0600] "GET /blog HTTP/1.0" 301 234 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.86.230 - - [17/Feb/2007:07:16:51 -0600] "GET /robots.txt HTTP/1.0" 200 243 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
74.6.86.74 - - [17/Feb/2007:07:28:18 -0600] "GET /robots.txt HTTP/1.0" 200 243 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
66.249.65.5 - - [17/Feb/2007:07:31:40 -0600] "GET /%E5%8D%9A HTTP/1.1" 404 3652 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
213.180.214.174 - - [17/Feb/2007:07:37:20 -0600] "GET /rublog/?feed=rss2 HTTP/1.1" 304 - "-" "YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) 0 readers"
Буржуи хотят насилия! Ratio 1:80

Gemini
Свой
Зарегистрирован: 03.02.2007
Сообщений: 21
Обратиться по нику
# Добавлено:Сб Фев 24, 2007 2:25 pmОтветить с цитатой
Не приходит он с этого урла.
Он так идентифицируется, заполняя серверную переменную "HTTP_USER_AGENT" как это делает браузер. Я когда первый раз увидал подобную запись, пошел по ссылке и сразу все понял, КТО в гости приходил :smk:
А по поводу ОТКУДА - есть пул адресов 74.6.*, принадлежащие Inktomi Corporation

user00
Профессионал
Зарегистрирован: 24.07.2006
Сообщений: 717
Обратиться по нику
# Добавлено:Сб Фев 24, 2007 3:43 pmОтветить с цитатой
Понятно, что с 74.6.*, хотел спросить, зачем этот УРЛ в индификаторе http://help.yahoo.com/help/us/ysearch/slurp указывается?

Если использовать анализаторы логов, то этот урл будет в строке индификации ботов user_agent и вебмастер может кликнуть и почитать "факи", правильно я понял?
Буржуи хотят насилия! Ratio 1:80
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры