|
|
|
![]()
Rabbit
Кролики - это не только ценный мех |
Зарегистрирован: 01.08.2005
Сообщ.: 18845
|
Обратиться по нику
|
|
Господа, такой вопрос:
есть определенные страницы, закрытые от индексации файлом robots.txt. Гугл и Яндекс послушно следуют указаниям данного файла.
А вот live.com и MSN мало того, что игнорируют данный запрет - они еще эту страницу на первую страницу в выдаче повесили 
В чем может быть дело? Может быть для них какой-то свой, особый файл нужно составлять? |
|
|
|
|
|
Гость, деньги тут
!
GlavMed - лей трафик и живи без бед!
RenGoDating - $2 за анкету серфера, супер конвертация. |
![]()
Li-Hua
Чинамэн |
Зарегистрирован: 24.12.2005
Сообщ.: 10179
|
Обратиться по нику
|
|
баги лезут, ждите пока исправять  |
|
|
|
|
|
Главмед - круче всех
RuCash.net - Выгодная SMS партнерка для РУ, СНГ и д.р. адалт/развлекательного трафика |
![]()
Вацлав
Сетевой Гугляка |
Зарегистрирован: 21.02.2006
Сообщ.: 4831
|
Обратиться по нику
|
|
Ну, шоб перви, Гугл жрет файлы, запрещенные к индексации через robots.txt, в чем его не раз уже обвиняли. Официальная позиция примерно такова - "жрем, анализируем, но в выдачу не выкладываем. Проверяем для борьбы с клоакингом".
Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила. |
|
|
|
|
|
Гость, не изобретай велосипед. Для тебя все продумал ГЛАВМЕД |
![]()
Rabbit
Кролики - это не только ценный мех |
Зарегистрирован: 01.08.2005
Сообщ.: 18845
|
Обратиться по нику
|
|
| Вацлав писал(а): |
|
Касаемо лайва и мсна - пните админа, пускай сверит соответствие спецификациям роботс.ткст. Они же не вечные и иногда меняются. Я вот вообще на паре ресурсов забыл про появление лайвкома и забыл написать для него правила.
|
А такое
разве не подразумевает всех-всех агентов? |
|
|
|
|
|
Гость, деньги тут
!
GlavMed - лей трафик и живи без бед!
RenGoDating - $2 за анкету серфера, супер конвертация. |
![]()
user00
Banned |
Зарегистрирован: 24.07.2006
Сообщ.: 723
|
Обратиться по нику
|
|
| Я один скрипт разместил на сайте, а в robots.txt запретил папку со скриптом индексировать Яндексу. Каково было мое удивление, когда Яндекс забанил мой сайт именно из за этого скрипта (причину изложила служба поддержки Яндекса). |
|
|
|
|
|
Буржуи хотят насилия! Ratio 1:80 |
|
|
