АРМАДА
Как должен выглядеть нормальный robots.txt?
Новая тема Написать ответ Advanced Hosters - профессиональный хостинг

BLakE + +
Опытный
Зарегистрирован: 09.11.2009
Сообщений: 487
Обратиться по нику
# Добавлено:Пт Сен 24, 2010 12:05 pmДобавить в избранноеОтветить с цитатой
Здравствуйте! Такая ситуация.

Есть WP блог. после некоторых манипуляций выясняется, что проиндексированы такие ненужные страницы типа
/wp-includes
и тд.

в robots.txt прописано:
User-agent: *
Disallow:

Sitemap: *адрес-блога*/sitemap.xml.gz

сайтмап и robots.txt сделались автоматически плагитом Google-Sitemap-generator.

такие вопросы:

как убрать мусор из индекса?
нужно ли прописывать отдельно disallow для всех ненужных каталогов и файлов, и если да, то где взять полный список папок и файлов, которые полюбому не нужно индексировать в WP: ну например файл: xmlrpc.php

буду весьма признателен, оч долго мучаюсь Sad

BLakE + +
Опытный
Зарегистрирован: 09.11.2009
Сообщений: 487
Обратиться по нику
# Добавлено:Пт Сен 24, 2010 12:11 pmОтветить с цитатой
или может тупо затереть сайтмап и роботс - пусть гугл сам решает, но как в таком случае:
1. удалить уже существующий мусор из индекса?
2. закрыть от индекса tags и categories

delpara
Опытный
Зарегистрирован: 17.01.2010
Сообщений: 111
Обратиться по нику
# Добавлено:Пт Сен 24, 2010 12:53 pmОтветить с цитатой
нужно прописать disallow на все ненужные папки и файлы и мусор сам со временем уйдет из индекса.
или можно просто найти какой-нибудь блог на ВП, посмотреть его роботс и скопировать себе, удалив или добавив что нужно.

pixel
Профессионал
Зарегистрирован: 10.08.2008
Сообщений: 626
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Пт Сен 24, 2010 1:07 pmОтветить с цитатой
User-agent: *
Disallow: /cgi-bin
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /xmlrpc.php?rsd
Disallow: */trackback*
Disallow: */feed*

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /xmlrpc.php?rsd
Disallow: */trackback*
Disallow: */feed*

Host: site.ru

Sitemap: http://site.ru/sitemap.xml

pixel
Профессионал
Зарегистрирован: 10.08.2008
Сообщений: 626
Contest (Сумма: 2)
Обратиться по нику
# Добавлено:Пт Сен 24, 2010 1:10 pmОтветить с цитатой
BLakE писал(а):
или может тупо затереть сайтмап и роботс - пусть гугл сам решает, но как в таком случае:
1. удалить уже существующий мусор из индекса?
2. закрыть от индекса tags и categories



прописать robots.txt

Поисковики сами выкинут.

BLakE + +
Опытный
Зарегистрирован: 09.11.2009
Сообщений: 487
Обратиться по нику
# Добавлено:Пт Сен 24, 2010 1:43 pmОтветить с цитатой
спасибо. помониторил зарубеж. форумы. так нормально?

User-agent: *
Disallow: /wp-content/
Disallow: /wp-icludes/
Disallow: /cgi-bin
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /category/
Disallow: /category/*/*
Disallow: /tag/*
Disallow: /tag/
Disallow: /wp-*
Disallow: /login/
Disallow: */trackback
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?*
Disallow: /*?
Disallow: /20*
Новая тема Написать ответ    ГЛАВНАЯ ~ ТЕХНИЧЕСКИЕ ВОПРОСЫ

Перейти:  





Генеральный спонсор



Партнеры