АРМАДА
Googlebot требует доступ к файлам CSS и JS на сайт
На страницу Пред.  1, 2
Новая тема Написать ответ
Вт Июл 28, 2015 7:53 pm Start Post: Googlebot требует доступ к файлам CSS и JS на сайт 

Graf
V.I.P.
Зарегистрирован: 14.07.2014
Сообщений: 2004
Обратиться по нику
# Добавлено:Пт Авг 21, 2015 9:28 amОтветить с цитатой
blogmatic писал(а):
А что это Гугл так заволновался, ведь раньше его все устраивало.


Гугл развивается и хочет видеть сайт как человек. Стили и скрипты дают возможность понять насколько контент доступен для пользователя.

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 21154
Обратиться по нику
# Добавлено:Ср Авг 26, 2015 12:17 pmОтветить с цитатой
the matrixx писал(а):
Не будем ему ЖЕЕС и циесес открывать, да?



А как он их не видит если ссылку на них выцепляет со страницы? Роботсы тут тоже непричём. Одно на уме, только если через .htaccess закрыты, но зачем кому то нужно их от него закрывать? Я негодую.

the matrixx писал(а):
BADMAN писал(а):
Гуглоиды почти всем отправили такое письмо, включая и меня. Нужно пофиксить robots.txt
Многие уже выкатили статьи по решению этой проблемы - http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js


Как решить - это мы без статей знаем. Вопрос, надо это или нет? Нельзя ли отхватить больше пиздюлей после открытия неидеального CSS и JS, чем от простого игнорирования просьб гугла? Если гугля хочет доступ к этим файлам то она собралась там что-то анализировать и оценивать качество сайта. Вопрос - что он хочет?



Цитата:
Вопрос - что он хочет?



Вири/трои наличие их будет анализировать видимо.
ConnectX: Единый порно сайт подрочить Porno Cam, для adult вебмастеров, webcam моделей

Лик
V.I.P.
Зарегистрирован: 03.07.2010
Сообщений: 4501
Обратиться по нику
# Добавлено:Ср Авг 26, 2015 2:35 pmОтветить с цитатой
Вот рекомендации от самого гугла: Как устранить проблему сканирования CSS и JS-файлов на сайте

Аналитики и инженер отдела качества поиска Google Гэри Илш на сайте Stack Overflow поделился способом быстрого устранения этой проблемы. Для этого нужно добавить в файл robot.txt следующее простое правило:



После добавления этой информации файлы CSS и JavaScript будут открыты для сканирования GoogleBot.

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 21154
Обратиться по нику
# Добавлено:Ср Авг 26, 2015 3:41 pmОтветить с цитатой
Если поставить роботс.тхт просто в две строчки:

User-agent: *
Allow: /


То доступ к этим файлам тоже будет разрешён, - если рассуждать по логике правил роботс.тхт, не думаю что нужны специальные дополнительные директивы. Это на тот случай видимо, если в файле много иного мусора, и где-то доступ к этим файлам (папке с этими файлами), перекрывается.
ConnectX: Единый порно сайт подрочить Porno Cam, для adult вебмастеров, webcam моделей

Kamilla
Гуру
Зарегистрирован: 09.07.2013
Сообщений: 1315
Обратиться по нику
# Добавлено:Чт Авг 27, 2015 1:03 pmОтветить с цитатой
Какие-нибудь санкции за неисполнение требований Гугла предусмотрены?

Tomas-R + +
V.I.P.
Зарегистрирован: 07.01.2008
Сообщений: 5567
Обратиться по нику
# Добавлено:Сб Авг 29, 2015 11:45 amОтветить с цитатой
пока не заметил санкций
рекламная подпись (в PM)

IseeDeadPeople
Объединенная Электрическая
Зарегистрирован: 06.12.2005
Сообщений: 21154
Обратиться по нику
# Добавлено:Чт Сен 03, 2015 12:25 pmОтветить с цитатой
Не закрывайте в роботсе папки img и прочие, где лежат картинки, там же и js файлы бывает валяются, и не будет точно никаких санкций. Пауку нужно дать разрешение индексировать всё на сайте, уник/неуник и прочее не нужное, он сам определит.
ConnectX: Единый порно сайт подрочить Porno Cam, для adult вебмастеров, webcam моделей

Tomas-R + +
V.I.P.
Зарегистрирован: 07.01.2008
Сообщений: 5567
Обратиться по нику
# Добавлено:Вс Сен 27, 2015 5:46 pmОтветить с цитатой
ну а смысловой - зачем оно ему?
мне вот недавно гуглплюс стал напоминать чсто у меня билеты и поездка и солько мне ехать с раоты домой
а зачем? я такой функции не просил - получаетя меня мониторит гугул в полный рост, мою почту, мои заказы, мой GPS
рекламная подпись (в PM)

Doc
V.I.P.
Зарегистрирован: 31.03.2010
Сообщений: 4909
Обратиться по нику
# Добавлено:Пн Сен 28, 2015 11:00 amОтветить с цитатой
Tomas-R писал(а):
олучаетя меня мониторит гугул в полный рост, мою почту, мои заказы, мой GPS


Анонимности в сети нет.

John Doe
V.I.P.
Зарегистрирован: 25.06.2010
Сообщений: 4332
Обратиться по нику
# Добавлено:Ср Мар 09, 2016 12:33 pmОтветить с цитатой
Google обновил рекомендации по индексации сайтов на JavaScript

Цитата:
1) Не занимайтесь клоакингом, пытаясь обмануть Googlebot. Используйте техники feature detection и progressive enhancement, чтобы сделать содержимое сайта доступным для всех пользователей. Избегайте редиректов на страницы, которые не поддерживаются браузером. Если необходимо, используйте polyfill – скрипты, частично эмулирующие спецификации HTML5 или CSS3, позволяющие браузеру правильно отобразить контент. В настоящее время Googlebot не поддерживает такие функции и сценарии, как Service Workers, Fetch API, Promises и requestAnimationFrame.

2) Используйте атрибут rel=canonical для указания канонического URL, если контент размещён на нескольких URL-ах.

3) Избегайте использования устаревшей схемы сканирования AJAX на новых сайтах. Не забывайте удалять теги "meta fragment" из HTML-копии AJAX-страниц. Не используйте тег "meta fragment" на страницах с тегом "escaped fragment".

4) Избегайте использования "#" в URL-ах. Googlebot редко индексирует такие адреса. «Стандартная» структура адреса страницы выглядит так: путь/имя файла/параметры запроса.

5) Используйте Сканер Google для сайтов в Search Console, чтобы проверить, как Googlebot видит страницы. Помните, что этот инструмент не поддерживает URL, содержащие символы "#!" или "#".

6) Убедитесь, что все запрашиваемые ресурсы не закрыты от индексации в файле robots.txt (включая JavaScript-файлы/фреймворки, ответы сервера, сторонние API). Сканер Google для сайтов покажет список заблокированных ресурсов. Если ресурсы автоматически заблокированы в robots.txt (например, сторонние API) или временно недоступны по другой причине, нужно убедиться, что код страницы исполняется корректно.

7) Ограничьте количество встроенных ресурсов, запрашиваемых, чтобы отобразить страницу. В частности – число JavaScript-файлов и ответов сервера. Большое количество запрашиваемых URL может привести к истечению срока ожидания ответа сервера или отображению страницы, на которой эти элементы будут недоступны. К примеру, некоторые JavaScript-файлы могут не загрузиться.

8 Google поддерживает использование JavaScript для предоставления тайтлов, метаописаний и метатегов robots, структурированных и других метаданных. При использовании AMP, страница в формате JavaScript должна быть статичной, однако при создании ассоциированной с ней веб-страницы могут использоваться JS/PWA-техники. Тег "lastmod" в файле Sitemap сообщит поисковому роботу, когда в последний раз обновлялась страница.

9) Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать JavaScript или же использовать другие подходы при индексации таких страниц.


Ingritt
Гуру
Зарегистрирован: 09.07.2013
Сообщений: 1253
Обратиться по нику
# Добавлено:Пт Мар 11, 2016 9:37 amОтветить с цитатой
Цитата:
Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать JavaScript


Это какие поисковики не поддерживают JavaScript?
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ

Перейти:  





Генеральный спонсор



Партнеры