АРМАДА
Robots.txt - обязательный атрибут?
Новая тема Написать ответ

Rabbit
Кролики - это не только ценный мех
Зарегистрирован: 01.08.2005
Сообщений: 19787
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Ср Июл 05, 2006 9:58 pmДобавить в избранноеОтветить с цитатой
Интересно, кто-то вел такую статистику, как влияет наличие этого файла (даже пустого) - на поведение поисковиков?
Мне раньше посоветовали сделать этот файл - в качестве рекомендации, когда поисковики не хотели индексировать сайт... Но на примере одного сайте нельзя сказать с уверенностью, именно это помогло или что-то иное.
Новое. Прибыльное. Скоро!

Li-Hua
Чинамэн
Зарегистрирован: 25.12.2005
Сообщений: 11544
Обратиться по нику
# Добавлено:Чт Июл 06, 2006 2:49 pmОтветить с цитатой
помойму фигня это, от того шо он есть быстрей в серп не попадешь

sergan
Свой
Зарегистрирован: 17.03.2006
Сообщений: 7
Обратиться по нику
# Добавлено:Ср Авг 02, 2006 4:14 pmОтветить с цитатой
Это второй по очереди файл, который юзают пауки. Я разницы не заметил, есть он, нет его.
Некоторые сеошники рекомендуют, даже если нечего закрывать, делать его просто пустым.

irvean
V.I.P.
Зарегистрирован: 08.10.2005
Сообщений: 1896
Обратиться по нику
# Добавлено:Ср Авг 02, 2006 10:03 pmОтветить с цитатой
Цитата:

от того шо он есть быстрей в серп не попадешь


Юзается в основном для того чтоб показать куда можно а куда нельзя лазить.
Для более быстрой индексации можно использовать google sitemap. Но для больших ресурсов его нужно привязывать к портальной системе, иначе замахаешься вручную дописывать или удалять страницы в нём.
o_0

Bluesman
Свой
Зарегистрирован: 21.03.2006
Сообщений: 25
Обратиться по нику
# Добавлено:Ср Авг 02, 2006 10:31 pmОтветить с цитатой
у меня был такой случай - сервер был криво настроен и не выдавал корректного 404-ответа
в том числе когда запрашивался несуществующий robots.txt - сервер выдавал длинную страницу с перечнем ошибок java и так далее. С кодом 200.

Можно только догадываться как эту информацию интерпретировал поисковый бот, но в яндексе кроме морды сайта ничего не было, пока не поправили.

с тех пор в сомнительных случаях (например на фрихостах) стараюсь залить хотя бы пустой файл, когда не лень Smile
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ

Перейти:  





Генеральный спонсор



Партнеры