АРМАДА
robots.txt - "последние штрихи".
На страницу Пред.  1, 2
Новая тема Написать ответ
Чт Май 14, 2009 10:41 pm Start Post: robots.txt - "последние штрихи". 

icedogas
Гуру
Зарегистрирован: 14.01.2008
Сообщений: 1285
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 8:54 amОтветить с цитатой
Кстати о sitemap в robots.txt, подскажите как правильно его ставить и где именно?
Или без разницы, в начале текста или в конце robots.txt

denny
Свой
Зарегистрирован: 23.04.2008
Сообщений: 4
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 5:00 pmОтветить с цитатой
icedogas

ставь в конце, пример:

Sitemap: http://domainname.com/sitemap.xml

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18041
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 7:20 pmОтветить с цитатой
http://www.armadaboard.com/viewtopic.php?p=4657603#4657603

наверно мою задачу можно решить только так:

User-agent: Baiduspider
Disallow: *1*
Disallow: *2*
Disallow: *3*
Disallow: *4*
Disallow: *5*
Disallow: *6*
Disallow: *7*
Disallow: *8*
Disallow: *9*
Disallow: *0*

да?

т.е. никаких регулярок в дисалове быть неможет ?
бесплатное порно видео

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18041
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 8:32 pmОтветить с цитатой
а как правильнее,
с чертой в начале.. или её можно неставить?
----------
User-agent: Baiduspider
Disallow: /*1*
Disallow: /*2*
..
----------

также, ограничение на индексацию линков, в пути и имени файла есть цифра..
с отсутствием звездочки в конце..

т.е.:

----------
User-agent: Baiduspider
Disallow: /*1
Disallow: /*2
----------

теже свойства будут..?
или это запретит индексацию, только тем файлам/путям, если они и кончаються строго на цифру.. ?

Shocked
бесплатное порно видео

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18041
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 8:42 pmОтветить с цитатой
denny писал(а):
icedogas

ставь в конце, пример:

Sitemap: http://domainname.com/sitemap.xml



форматы на этот файл, для разных ТОП СЕ (гугль,бинг,яху) различен?

и единственно что это может как то ускорить процесс индексации сайта, но это неособо важно..

и думаю, основном момент, боту проще и бысрее переиндексировать сайт файлы, сразу, судя по изменениям в сайтмеп ?

________

кстати, у некоторых сайтов в Гугле, внизу в выдаче, есть категории, в конце снипета, после текста..
см. http://www.google.com/search?hl=en&source=hp&q=porn
первый сайт pornhub.com

- как это реализуеться, через карту сайта..
или если сайт на ВП, то бот сам может найти и обозначить категории ?
бесплатное порно видео

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18041
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 9:14 pmОтветить с цитатой
nomer8 писал(а):
IseeDeadPeople, в японии популярен другой поисковик у которого лого синишар r5
Байда - китайце



какой это у Японии?

_____

т.е. на байде трафик китайский в основном..
и им можно пренебречь в следствии его неплатежеспособности.. ?

- вообще, помоему тама давно уже уровень жизни/доходы лучьше/выше чем в России Clapping Shocked

_____

вот еще, строки комментарии в роботс.тхт, это строка(подстрока) после значка # ?
значок # должен быть строго на первой позиции в строке, чтоб это считалося коментарием.. или можно после какого то оператора запрета/инициализации написать.. ?
бесплатное порно видео

nomer8
V.I.P.
Зарегистрирован: 09.12.2008
Сообщений: 2081
Обратиться по нику
# Добавлено:Пт Окт 02, 2009 9:50 pmОтветить с цитатой
[offtop]
Цитата:
- вообще, помоему тама давно уже уровень жизни/доходы лучьше/выше чем в России


ты ошибаешся, там за теже деньги что платиш по кредитке они бы могли найти двух неплохих девчёнок на ноч...
[/offtop]
EssayPartner.com - партнерка под эссей трафик.

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18041
Обратиться по нику
# Добавлено:Вс Окт 04, 2009 10:54 pmОтветить с цитатой
ты ошибаешся, там за теже деньги что платиш по кредитке они бы могли найти двух неплохих девчёнок на ноч...

Shocked

т.е. уровень жизни в Китае намного ниже, чем напр. в России/Москва ?
но тама есть гораздо больше состоятельных людей, хотя ориентироваться на какой то % населения нестоит (!?)
- ну так еще лучьше, значит думаю просто байду задисаловлю.. т.к.

но это все хорошо, но нужна тех. информация:

сегодня вот, на одном домене, глобально на всех сабах.. поставил 403 на ИПы байду..
т.к. такой вот роботс:

User-agent: Baiduspider
Disallow: /*1*
Disallow: /*2*
Disallow: /*3*
Disallow: /*4*
Disallow: /*5*
Disallow: /*6*
Disallow: /*7*
Disallow: /*8*
Disallow: /*9*
Disallow: /*0*


пока что недал, как я вижу, результата..

или может - через какие периоды времени, байду бот, на каком то сабдомене, проверяет роботс.тхт и ставит новые правила.. ?
может он просто пока на тех саб доменах, которые еще 2 дня назад начал индексить, новый роботс невзял..
так что, я спец. забанил временно, на 24 часа.. ИП сетку байду.. (хотя джапонский байду бот, бегает с дургих ип.. но от него столько бот-трафика нету..) чтоб он оставил скорее те сабы кот. знает.. и начал новые..

________

вообще, идеально было бы составить такие роботс строчки, чтоб разрешить ему индексить только корень "/" сабдомена:
именно пропускать только индексацию http://sub.domain.com/, а уже http://sub.domain.com/index.html, /index.php, /any/any/any.any, и при этом корень конечно запускает index.php, но боту это можно и незнать..
- но я непредставляю как это можно сделать.. ?
бесплатное порно видео

nomer8
V.I.P.
Зарегистрирован: 09.12.2008
Сообщений: 2081
Обратиться по нику
# Добавлено:Вс Окт 04, 2009 11:01 pmОтветить с цитатой
IseeDeadPeople
Цитата:
User-agent: Baiduspider
Disallow: /q
Disallow: /w
Disallow: /e
Disallow: /r
Disallow: /t
Disallow: /y
Disallow: /u
Disallow: /i
Disallow: /o
Disallow: /p
Disallow: /a
Disallow: /s
Disallow: /d
Disallow: /f
Disallow: /g
Disallow: /h
Disallow: /j
Disallow: /k
Disallow: /l
Disallow: /z
Disallow: /x
Disallow: /c
Disallow: /v
Disallow: /r
Disallow: /b
Disallow: /n
Disallow: /m
Disallow: /3
Disallow: /2
Disallow: /1
Disallow: /4
Disallow: /5
Disallow: /6
Disallow: /7
Disallow: /8
Disallow: /9
Disallow: /0


так он всё кроме "/" будет неиндексить
EssayPartner.com - партнерка под эссей трафик.

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 18041
Обратиться по нику
# Добавлено:Пн Окт 12, 2009 4:08 pmОтветить с цитатой
nomer8,

спасибо, хотя это особо ненадо, достаточно было .. цифры ..
и пока что, забанил еще неделю назад, сейчас разбаню, посмотрю.. соблюдает ли
"User-agent: Baiduspider Disallow: /*1* Disallow: /*2*.... Disallow: /*0* "
если нет, то забаню роботсом байду, трафика с него было одно время превалировать чем с других, сейчас же - нет, и тем более, мне дали понять, что Китай это Китай, а японский их пони, явно неиграет большую территорию как яндекс в РУ, поэтому думаю для англо-адалт-ресурса, потерять трафик с Байды_Китайской+байды_Японской .. не так уж и страшно..
тем более, сегодня вот еще покапал материал, и было ясно, что "продажные шлюхи" в основном, а не С.П. или старый внут.. механизм что то~ , чтоб получить ТОП места..
впринципи, мне уже даже видна какая то зависимость:
чем больше от СЕ бота идет ботового трафика, тем меньше живого трафика получаешь с самой СЕ.

а твой вариант, еще надо смотреть,
есть ли регистрозависимость, т.е. /a /A различны/нет ли..
далее, такой вот файл /-lala.html или /_lala.html также надо смотреть..
т.е. кол-во строк может вырости в раза два, что неочень этично юзать такие роботсы.. и чего то мне кажеться, что он может и несоблюдать такое обилие дисаловов ..
бесплатное порно видео
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ

Перейти:  





Генеральный спонсор



Партнеры