АРМАДА
Вопрос по robots.txt
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

Rabbit
Кролики - это не только ценный мех
Зарегистрирован: 01.08.2005
Сообщений: 19787
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Пт Янв 05, 2007 11:12 pmДобавить в избранноеОтветить с цитатой
Господа, такой вопрос:
есть определенные страницы, закрытые от индексации файлом robots.txt. Гугл и Яндекс послушно следуют указаниям данного файла.
А вот live.com и MSN мало того, что игнорируют данный запрет - они еще эту страницу на первую страницу в выдаче повесили Cool
В чем может быть дело? Может быть для них какой-то свой, особый файл нужно составлять?
Новое. Прибыльное. Скоро!

Li-Hua
Чинамэн
Зарегистрирован: 25.12.2005
Сообщений: 11544
Обратиться по нику
# Добавлено:Сб Янв 06, 2007 6:49 pmОтветить с цитатой
баги лезут, ждите пока исправять Smile

Вацлав
Сетевой Гугляка
Зарегистрирован: 21.02.2006
Сообщений: 4965
Обратиться по нику
# Добавлено:Сб Янв 06, 2007 7:31 pmОтветить с цитатой
Ну, шоб перви, Гугл жрет файлы, запрещенные к индексации через robots.txt, в чем его не раз уже обвиняли. Официальная позиция примерно такова - "жрем, анализируем, но в выдачу не выкладываем. Проверяем для борьбы с клоакингом".

Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила.
Второе пришествие Вацлава. Камингсуново.

Rabbit
Кролики - это не только ценный мех
Зарегистрирован: 01.08.2005
Сообщений: 19787
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Сб Янв 06, 2007 11:11 pmОтветить с цитатой
Вацлав писал(а):
Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила.


А такое
Цитата:
User-agent: *


разве не подразумевает всех-всех агентов?
Новое. Прибыльное. Скоро!

user00
Профессионал
Зарегистрирован: 24.07.2006
Сообщений: 717
Обратиться по нику
# Добавлено:Вс Фев 25, 2007 4:25 pmОтветить с цитатой
Я один скрипт разместил на сайте, а в robots.txt запретил папку со скриптом индексировать Яндексу. Каково было мое удивление, когда Яндекс забанил мой сайт именно из за этого скрипта (причину изложила служба поддержки Яндекса).
Буржуи хотят насилия! Ratio 1:80
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры