АРМАДА
Запрет на индексацию папки wp-admin
На страницу 1, 2  След.
Новая тема Написать ответ

vold
Свой
Зарегистрирован: 12.04.2006
Сообщений: 46
Обратиться по нику
# Добавлено:Сб Сен 08, 2007 12:47 pmДобавить в избранноеОтветить с цитатой
В своих советах Мэт Катс говорил, что нужно запретить индексировать поисковикам папку wp-admin в блогах ВордПресса, с помощью файла robots.txt.
Понятно, что при этом снижается количество работы роботов на сайте, увеличивается скорость индексации и это очевидно представляет интерес для поисковиков.
Но происходит ли при этом улучшение индексируемости полезной информации на сайте? То есть что получает сайт, если запретить индексацию бесполезных страниц?
Кто какого мнения по поводу запрета на индексацию папки wp-admin?
Может есть смысл запретить индексацию на блоге некоторых других папок?

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Сб Сен 08, 2007 3:31 pmОтветить с цитатой
vold,
Цитата:
Понятно, что при этом снижается количество работы роботов на сайте, увеличивается скорость индексации и это очевидно представляет интерес для поисковиков.


Ага, просто непомерно снижается. Файлов этак 5 не надо индексировать ))
Ничего сайт не получает, а на эту папку надо ставить пароль вообще, а не в robots.txt ее закрывать.
Имеет смысл запретить к индексации или запаролить всё, что не должно быть видно обычным серферам (в т.ч. служебно-системные папки)

dr.Greg
V.I.P.
Зарегистрирован: 29.07.2006
Сообщений: 2042
Обратиться по нику
# Добавлено:Сб Сен 08, 2007 3:36 pmОтветить с цитатой
Это можно и нужно делать для любых служебных/админских страниц, но никакого преимущества это ни в чем не дает.

Taburetkin
Гуру
Зарегистрирован: 25.02.2007
Сообщений: 1426
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Вс Сен 09, 2007 4:58 pmОтветить с цитатой
User-agent: Googlebot
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$


User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-content/cache/
Disallow: /wp-content/themes/

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Вс Сен 09, 2007 5:05 pmОтветить с цитатой
Taburetkin,
Думаю хватит такого Wink

User-agent: *
Disallow: wp-
Disallow: feed
Disallow: trackback

Taburetkin
Гуру
Зарегистрирован: 25.02.2007
Сообщений: 1426
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Вс Сен 09, 2007 5:56 pmОтветить с цитатой
Chin,

в твоем случае не хватает / в начале (неправильный синтаксис)
например /feed

но в этом случае он запретит /feed, но проиндексирует /blah/feed

Disallow: /*/feed/$
*/ любя папка до
$ все файлы после

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Пн Сен 10, 2007 1:42 pmОтветить с цитатой
Насколько я понимаю синтаксис robots.txt - мой вариант запретит индексацию всего, что содержит указанную часть строк
А вот $ я вообще не припомню. Надо сходить почитать Smile

Taburetkin
Гуру
Зарегистрирован: 25.02.2007
Сообщений: 1426
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Пн Сен 10, 2007 3:07 pmОтветить с цитатой
Chin,

твой пример имеет не правильный синтаксис. Всегда нужен / в начале.

Disallow: /wp-
Disallow: /feed
Disallow: /trackback

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Пн Сен 10, 2007 8:11 pmОтветить с цитатой
Нашел информацию, что можно и так и так, но предпочтительнее со слешем (хотя стандарт разрешает и без него)
Вот кстати полезные ссылки по сабжу
http://www.robotstxt.org/wc/faq.html
http://www.robotstxt.org/wc/norobots-rfc.html
Про использование * и $ в robots.txt так ничего и не нашел. Ты где взял то это хоть? Почитаю с интересом Smile

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Пн Сен 10, 2007 8:12 pmОтветить с цитатой
З.Ы. http://robotstxt.org.ru/RobotstxtErrors - тут про слеши
http://webmascon.com/topics/adv/8a.asp - тут про слеши тоже
(на русском обе ссылки)

UPD.: нашел по * и $
Это частные операторы гугля, как директива host для яндекса.
Т.е. общие стандарты файла robots.txt нарушаются, но в гугле это сработает.
http://www.google.ru/support/webmasters/bin/answer.py?answer=40367&topic=8846
но как то мне не нравится стандарты нарушать. Например в оригинале нет оператора allow, а гугль им зачем-то оперирует Smile
Т.е. * и $ в гугле работать будет, а вот в остальных - хз, так что смотрите внимательнее, и пишите конкретно для гугля и для остальных пауков несколько блоков в robots.txt

Taburetkin
Гуру
Зарегистрирован: 25.02.2007
Сообщений: 1426
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Пн Сен 10, 2007 11:30 pmОтветить с цитатой
Да все верно, У меня в первом посте как раз по ботам и разнесено.

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Пн Сен 10, 2007 11:41 pmОтветить с цитатой
Taburetkin, мне все равно не понятно, зачем Smile
Уж если совсем "оптимизировать", по моему так красивше:

User-agent: *
Disallow: wp-
Disallow: feed
Disallow: trackback

Синтаксис всё-таки не нарушается. Ну или можно слеш в начале поставить, те же яица, но вид с боку.
Делать этот robots.txt должен то же, что и твой (если слеши не ставить - то абсолютно точно то же, что и твой)

Taburetkin
Гуру
Зарегистрирован: 25.02.2007
Сообщений: 1426
Star (Сумма: 1)
Обратиться по нику
# Добавлено:Пн Сен 10, 2007 11:49 pmОтветить с цитатой
Chin,
Ну можно еще Яху и МСН туда всунуть.

Но я не хочу всем роботам feed, trakback запрещать. В этом-то все и дело. Есть куча ботов тянут фиды и иногда дают дополнительные линки

Chin +
олорирропролл
Зарегистрирован: 29.01.2007
Сообщений: 2890
Обратиться по нику
# Добавлено:Вт Сен 11, 2007 12:47 amОтветить с цитатой
Taburetkin, зачем туда яху и мсн всовывать?
Вот если не всем ботам хочешь запрещать - дело другое, еще есть смысл. Но тогда можно просто указать те, которым запретить хочешь Smile Минимализм рулит кмк Smile

alexf2000
Свой
Зарегистрирован: 28.10.2005
Сообщений: 62
Обратиться по нику
# Добавлено:Вт Сен 11, 2007 2:18 pmОтветить с цитатой
Цитата:
Disallow: feed
Disallow: trackback



Если я статью про трекбеки или фиды напишу, то её не проиндексирует, так что вариант Табуреткина лучше.
Самый интересный SEO-блог: http://alexf.name/
Новая тема Написать ответ    ГЛАВНАЯ ~ СОЦИАЛЬНЫЕ СЕТИ И БЛОГИ

Перейти:  





Генеральный спонсор



Партнеры