АРМАДА
Robots.txt
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

Name
Опытный
Зарегистрирован: 18.05.2009
Сообщений: 171
Обратиться по нику
# Добавлено:Вс Июл 12, 2009 2:28 pmДобавить в избранноеОтветить с цитатой
Ребят подскажите как правильно составить роботs.txt для wordpress

вот мой пример

Код:

User-agent: *
Disallow: /page*
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-register.php
Disallow: /wp-login.php
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: /feed
Disallow: /*/feed/
Disallow: /feed/rss/
Disallow: /feed/atom/
Disallow: /?feed=
Disallow: /comments*
Disallow: *trackback*
Disallow: *comments*



Может еще чего добавить надо ? Тэги рубрики и архивы закрываю плагином, вот еще вопрос надо вконце писать Host: название сайта?
Адын

Soeti
Профессионал
Зарегистрирован: 05.06.2009
Сообщений: 616
Обратиться по нику
# Добавлено:Вс Июл 12, 2009 2:32 pmОтветить с цитатой
дА. неплохо бы прописать.
оо.....какие быстрые машинки!(переходя на Красный)

pixel
Профессионал
Зарегистрирован: 10.08.2008
Сообщений: 626
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Вс Июл 12, 2009 3:01 pmОтветить с цитатой
мой

Код:
User-agent: *
Disallow: /cgi-bin
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */trackback*
Disallow: */feed*
Disallow: */comments

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: */trackback*
Disallow: */feed*
Disallow: */comments

Host: site.ru

Sitemap: http://site.ru/sitemap.xml


pixel
Профессионал
Зарегистрирован: 10.08.2008
Сообщений: 626
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Вс Июл 12, 2009 3:03 pmОтветить с цитатой
архивы и рубрики у меня закрываются плагином all in seo pack + закрыть от индексации страницы с тегами, если есть Wink (у меня тоже через этот
же плагин)

pixel
Профессионал
Зарегистрирован: 10.08.2008
Сообщений: 626
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Вс Июл 12, 2009 3:08 pmОтветить с цитатой
на многих сайтах/блогах оставляю комментарии открытыми, так как они тоже несут какой-то трафик, так как там идет обсуждение, а ссылки в комментариях делаю редиректом через внутренку

Lexix
V.I.P.
Зарегистрирован: 11.07.2008
Сообщений: 2143
Обратиться по нику
# Добавлено:Вс Июл 12, 2009 7:33 pmОтветить с цитатой
Name писал(а):
вот еще вопрос надо вконце писать Host: название сайта?



Пиши обязательно, иначе могут скомуниздить весь контент, и сайт приклеется к вору (станет зеркалом, у меня так было).
Их финансы не поют романсы Заработай на ссылках

Евген +
Опытный
Зарегистрирован: 22.02.2008
Сообщений: 218
Обратиться по нику
# Добавлено:Пн Июл 13, 2009 9:36 pmОтветить с цитатой
pixel, а зачем закрывать категории и архивы от гугла?

pixel
Профессионал
Зарегистрирован: 10.08.2008
Сообщений: 626
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Вт Июл 14, 2009 11:18 pmОтветить с цитатой
Евген писал(а):
pixel, а зачем закрывать категории и архивы от гугла?


чтобы дубля не было

у меня к примеру ЧПУ стоит /%postname%/

то есть статья будет доступна по сссылкам:
мойсайт.ру/название_статьи
мойсайт.ру/категория/название_статьи
в архивах на странице месяца
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры