|
|
BLakE + + Опытный |
Зарегистрирован: 09.11.2009
Сообщений: 487
|
Обратиться по нику
|
BLakE + + |
Ответить с цитатой | | |
|
Здравствуйте! Такая ситуация.
Есть WP блог. после некоторых манипуляций выясняется, что проиндексированы такие ненужные страницы типа
/wp-includes
и тд.
в robots.txt прописано:
User-agent: *
Disallow:
Sitemap: *адрес-блога*/sitemap.xml.gz
сайтмап и robots.txt сделались автоматически плагитом Google-Sitemap-generator.
такие вопросы:
как убрать мусор из индекса?
нужно ли прописывать отдельно disallow для всех ненужных каталогов и файлов, и если да, то где взять полный список папок и файлов, которые полюбому не нужно индексировать в WP: ну например файл: xmlrpc.php
буду весьма признателен, оч долго мучаюсь |
|
|
|
|
|
|
BLakE + + Опытный |
Зарегистрирован: 09.11.2009
Сообщений: 487
|
Обратиться по нику
|
BLakE + + |
Ответить с цитатой | | |
|
или может тупо затереть сайтмап и роботс - пусть гугл сам решает, но как в таком случае:
1. удалить уже существующий мусор из индекса?
2. закрыть от индекса tags и categories |
|
|
|
|
|
|
delpara Опытный |
Зарегистрирован: 17.01.2010
Сообщений: 111
|
Обратиться по нику
|
delpara |
Ответить с цитатой | | |
|
нужно прописать disallow на все ненужные папки и файлы и мусор сам со временем уйдет из индекса.
или можно просто найти какой-нибудь блог на ВП, посмотреть его роботс и скопировать себе, удалив или добавив что нужно. |
|
|
|
|
|
|
pixel Профессионал |
Зарегистрирован: 10.08.2008
Сообщений: 626
|
Обратиться по нику
|
pixel |
Ответить с цитатой | | |
|
User-agent: *
Disallow: /cgi-bin
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /xmlrpc.php?rsd
Disallow: */trackback*
Disallow: */feed*
User-agent: Yandex
Disallow: /cgi-bin
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-includes/
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /tag
Disallow: /xmlrpc.php?rsd
Disallow: */trackback*
Disallow: */feed*
Host: site.ru
Sitemap: http://site.ru/sitemap.xml |
|
|
|
|
|
|
pixel Профессионал |
Зарегистрирован: 10.08.2008
Сообщений: 626
|
Обратиться по нику
|
pixel |
Ответить с цитатой | | |
|
BLakE писал(а): |
или может тупо затереть сайтмап и роботс - пусть гугл сам решает, но как в таком случае:
1. удалить уже существующий мусор из индекса?
2. закрыть от индекса tags и categories
|
прописать robots.txt
Поисковики сами выкинут. |
|
|
|
|
|
|
BLakE + + Опытный |
Зарегистрирован: 09.11.2009
Сообщений: 487
|
Обратиться по нику
|
BLakE + + |
Ответить с цитатой | | |
|
спасибо. помониторил зарубеж. форумы. так нормально?
User-agent: *
Disallow: /wp-content/
Disallow: /wp-icludes/
Disallow: /cgi-bin
Disallow: /cgi-bin/
Disallow: /trackback/
Disallow: /wp-admin/
Disallow: /archives/
Disallow: /category/
Disallow: /category/*/*
Disallow: /tag/*
Disallow: /tag/
Disallow: /wp-*
Disallow: /login/
Disallow: */trackback
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
Disallow: /*.php$
Disallow: /*?*
Disallow: /*?
Disallow: /20* |
|
|
|
|
|
|
|