АРМАДА
Запретить индексацию
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

Lucky-Max
Свой
Зарегистрирован: 04.11.2008
Сообщений: 72
Обратиться по нику
# Добавлено:Пт Янв 02, 2009 2:27 pmДобавить в избранноеОтветить с цитатой
Собственно имеется шоп, страниц не много. Набирается около 6 страниц не нужного для взора поисковиков текста, а именно это Disclaimer, Policy, Terms и так далее. Я думаю запретить индексацию данных страниц посредством robots.txt Думаю мою мысль уловили, хотелось бы услышать Вашего мнения.

Хочу поздравить всех армадовцев с Новым Годом! Счастья, удачи, много радости и здоровья Вам! Drinks or Beer

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пт Янв 02, 2009 4:56 pmОтветить с цитатой
насчет "robots.txt",

я вот что подумал.. если на хосте физически файла "robots.txt" нету..
и стоит обработка 404 ошибок..
то Бот, если неотличает статусы Хидеров как 200 / 301-302
и параметры бот-скриптв настроены на авто релокатион..
то запросив "robots.txt" он получил редирект на МЕИН ХТМЛ страничку и сделает его и тем самым будет считать что "robots.txt" это Меин ХТМЛ, если туда трафик 404 завернут?


так может стоит всетаки класть файлик "robots.txt" но пустой совершенно ?

также если напр в "robots.txt" есть запрет/незапрет на индексацию.. гугля.. или неважно..
и при этом в ХТМЛ страничках есть тег meta name="robots" также с параметрами запрет/незапрет
но что будет приоретет для СЕ бота?

я думаю бот всетаки будет индексить сайт Только если и в роботс нет запрета (или пустой, или нет его) и также в ХТМЛ тегом meta name="robots" нету запрета?

?
http://m.lsl.com/

Lucky-Max
Свой
Зарегистрирован: 04.11.2008
Сообщений: 72
Обратиться по нику
# Добавлено:Пт Янв 02, 2009 5:35 pmОтветить с цитатой
IseeDeadPeople - Или я не понял, или меня не поняли. Физически robots.txt есть, я вот думаю ставить ли запрет на индексацию страниц с содержанием Disclaimer, Policy, Terms, Guarantee, Refund Policy

Я имею ввиду, с точки зрения такс сказать оптимизации. Допустим сайт состоит изначально из 50-и страниц. Затачивается каждая страница под нужный кей. 10 из 50-ти страниц - мусор, а именно Disclaimer, Policy, Terms, Guarantee, Refund Policy и т.д Тоесть данные страницы по сути не нужны для индексации поисковиками. Понимаете что я имею ввиду? Wink
Вот я и озадачился... Запрещать ли их индексацию в robots.txt данных страниц.

Извиняюсь если изначально был немного не правильно поставлен вопрос.
Мой Мой блог | Follow Me Yellow Thank You

Hello_Kitty
V.I.P.
Зарегистрирован: 30.04.2007
Сообщений: 10705
Обратиться по нику
# Добавлено:Пт Янв 02, 2009 6:12 pmОтветить с цитатой
ну запрети, кто тебе мешает? они реально как бы лишний груз,
и если там будет не уникализированный контент - то какой от них толк.
возьми и запрети их индексацию через robots.txt
Dedicated Hosting & Virtual Dedicated Hosting (XEN virtualization) / Openvpn & Pptp & Double & Http Proxy

Lucky-Max
Свой
Зарегистрирован: 04.11.2008
Сообщений: 72
Обратиться по нику
# Добавлено:Пт Янв 02, 2009 7:24 pmОтветить с цитатой
Hello_Kitty - Вот что и хотел собственно узнать, спасибо за мнение Wink
Мой Мой блог | Follow Me Yellow Thank You

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пн Янв 05, 2009 3:44 pmОтветить с цитатой
Цитата:
IseeDeadPeople - Или я не понял, или меня не поняли.



да нет.. сорри.. я просто тебя за оффтопил, т.к. увидев твой пост решил еще подигогокнуть..

а так, продолжая.. по статистике-серверной видно, что любой БОТ (гугля,яху) запрашивая robots.txt и если его там нет.. АВТОМАТОМ выполянет 302 location хидер и ХАВАЕТ (в моем случае) индекс-ХТМЛ страничку (туда 404 завернут у меня)... и что он думает ? привет!!!!!

сами смотрите ЛОГИ _Серверные_, если чуть в ХТТП Гет запросах понимаете...

"и что он думает" - да, господи.... да то что ИНДЕКС страничка и есть РОБОТС.тхт, т.к. ОН ЕЕ ЗАГРУЖАЕТ ГЕТом к себе!! все 200+ кб!!
____
т.е. если он бы отличал 200 от любого другого, то явны бы ФОЛЛОВ_ЛОКЕЙШЕН бы невыполнял..


вот доказ.

Код:

/robots.txt
   Http Code: 302    Date: [b]Jan 05 08:12:11[/b]    Http Version: HTTP/1.0    Size in Bytes: 414
   Referer: -
   Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
   
   
/index.html?track=me404
   Http Code: 200    Date: [b]Jan 05 08:12:12[/b]    Http Version: HTTP/1.0    Size in Bytes: 141170
   Referer: -
   Agent: Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
   



вообще по "мази", уже как лет 7 200 от 302 ничем на уровне клиента неотличаеться. :`( bums


Последний раз редактировалось: IseeDeadPeople (Пн Янв 05, 2009 3:53 pm), всего редактировалось 1 раз
http://m.lsl.com/

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18000
Обратиться по нику
# Добавлено:Пн Янв 05, 2009 3:48 pmОтветить с цитатой
Цитата:
Физически robots.txt есть



хорошо, и у меня теперь будет... длины 0.

Вопрос встечный:
robots.txt ВООБЩЕ ПУСТОЙ, длины 0 байт -- что нить какому нить боту Запретит ? (надо чтоб нет.)

Спасибо!
http://m.lsl.com/
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры