Googlebot требует доступ к файлам CSS и JS на сайт
На страницу Пред.  1, 2
Новая тема Написать ответ
# Пт Авг 21, 2015 9:28 amGraf Зарег.: 14.07.2014 ; Сообщ.: 2004Ответить с цитатой
blogmatic писал(а):
А что это Гугл так заволновался, ведь раньше его все устраивало.


Гугл развивается и хочет видеть сайт как человек. Стили и скрипты дают возможность понять насколько контент доступен для пользователя.
# Ср Авг 26, 2015 12:17 pmIseeDeadPeople Зарег.: 06.12.2005 ; Сообщ.: 21723Ответить с цитатой
the matrixx писал(а):
Не будем ему ЖЕЕС и циесес открывать, да?



А как он их не видит если ссылку на них выцепляет со страницы? Роботсы тут тоже непричём. Одно на уме, только если через .htaccess закрыты, но зачем кому то нужно их от него закрывать? Я негодую.

the matrixx писал(а):
BADMAN писал(а):
Гуглоиды почти всем отправили такое письмо, включая и меня. Нужно пофиксить robots.txt
Многие уже выкатили статьи по решению этой проблемы - http://seoprofy.ua/blog/optimizaciya-sajtov/googlebot-css-js


Как решить - это мы без статей знаем. Вопрос, надо это или нет? Нельзя ли отхватить больше пиздюлей после открытия неидеального CSS и JS, чем от простого игнорирования просьб гугла? Если гугля хочет доступ к этим файлам то она собралась там что-то анализировать и оценивать качество сайта. Вопрос - что он хочет?



Цитата:
Вопрос - что он хочет?



Вири/трои наличие их будет анализировать видимо.
# Ср Авг 26, 2015 2:35 pmЛик Зарег.: 03.07.2010 ; Сообщ.: 4501Ответить с цитатой
Вот рекомендации от самого гугла: Как устранить проблему сканирования CSS и JS-файлов на сайте

Аналитики и инженер отдела качества поиска Google Гэри Илш на сайте Stack Overflow поделился способом быстрого устранения этой проблемы. Для этого нужно добавить в файл robot.txt следующее простое правило:



После добавления этой информации файлы CSS и JavaScript будут открыты для сканирования GoogleBot.
# Ср Авг 26, 2015 3:41 pmIseeDeadPeople Зарег.: 06.12.2005 ; Сообщ.: 21723Ответить с цитатой
Если поставить роботс.тхт просто в две строчки:

User-agent: *
Allow: /


То доступ к этим файлам тоже будет разрешён, - если рассуждать по логике правил роботс.тхт, не думаю что нужны специальные дополнительные директивы. Это на тот случай видимо, если в файле много иного мусора, и где-то доступ к этим файлам (папке с этими файлами), перекрывается.
# Чт Авг 27, 2015 1:03 pmKamilla Зарег.: 09.07.2013 ; Сообщ.: 1315Ответить с цитатой
Какие-нибудь санкции за неисполнение требований Гугла предусмотрены?
# Сб Авг 29, 2015 11:45 amTomas-R Зарег.: 07.01.2008 ; Сообщ.: 5567Ответить с цитатой
пока не заметил санкций
# Чт Сен 03, 2015 12:25 pmIseeDeadPeople Зарег.: 06.12.2005 ; Сообщ.: 21723Ответить с цитатой
Не закрывайте в роботсе папки img и прочие, где лежат картинки, там же и js файлы бывает валяются, и не будет точно никаких санкций. Пауку нужно дать разрешение индексировать всё на сайте, уник/неуник и прочее не нужное, он сам определит.
# Вс Сен 27, 2015 5:46 pmTomas-R Зарег.: 07.01.2008 ; Сообщ.: 5567Ответить с цитатой
ну а смысловой - зачем оно ему?
мне вот недавно гуглплюс стал напоминать чсто у меня билеты и поездка и солько мне ехать с раоты домой
а зачем? я такой функции не просил - получаетя меня мониторит гугул в полный рост, мою почту, мои заказы, мой GPS
# Пн Сен 28, 2015 11:00 amDoc Зарег.: 31.03.2010 ; Сообщ.: 4909Ответить с цитатой
Tomas-R писал(а):
олучаетя меня мониторит гугул в полный рост, мою почту, мои заказы, мой GPS


Анонимности в сети нет.
# Ср Мар 09, 2016 12:33 pmJohn Doe Зарег.: 25.06.2010 ; Сообщ.: 4332Ответить с цитатой
Google обновил рекомендации по индексации сайтов на JavaScript

Цитата:
1) Не занимайтесь клоакингом, пытаясь обмануть Googlebot. Используйте техники feature detection и progressive enhancement, чтобы сделать содержимое сайта доступным для всех пользователей. Избегайте редиректов на страницы, которые не поддерживаются браузером. Если необходимо, используйте polyfill – скрипты, частично эмулирующие спецификации HTML5 или CSS3, позволяющие браузеру правильно отобразить контент. В настоящее время Googlebot не поддерживает такие функции и сценарии, как Service Workers, Fetch API, Promises и requestAnimationFrame.

2) Используйте атрибут rel=canonical для указания канонического URL, если контент размещён на нескольких URL-ах.

3) Избегайте использования устаревшей схемы сканирования AJAX на новых сайтах. Не забывайте удалять теги "meta fragment" из HTML-копии AJAX-страниц. Не используйте тег "meta fragment" на страницах с тегом "escaped fragment".

4) Избегайте использования "#" в URL-ах. Googlebot редко индексирует такие адреса. «Стандартная» структура адреса страницы выглядит так: путь/имя файла/параметры запроса.

5) Используйте Сканер Google для сайтов в Search Console, чтобы проверить, как Googlebot видит страницы. Помните, что этот инструмент не поддерживает URL, содержащие символы "#!" или "#".

6) Убедитесь, что все запрашиваемые ресурсы не закрыты от индексации в файле robots.txt (включая JavaScript-файлы/фреймворки, ответы сервера, сторонние API). Сканер Google для сайтов покажет список заблокированных ресурсов. Если ресурсы автоматически заблокированы в robots.txt (например, сторонние API) или временно недоступны по другой причине, нужно убедиться, что код страницы исполняется корректно.

7) Ограничьте количество встроенных ресурсов, запрашиваемых, чтобы отобразить страницу. В частности – число JavaScript-файлов и ответов сервера. Большое количество запрашиваемых URL может привести к истечению срока ожидания ответа сервера или отображению страницы, на которой эти элементы будут недоступны. К примеру, некоторые JavaScript-файлы могут не загрузиться.

8 Google поддерживает использование JavaScript для предоставления тайтлов, метаописаний и метатегов robots, структурированных и других метаданных. При использовании AMP, страница в формате JavaScript должна быть статичной, однако при создании ассоциированной с ней веб-страницы могут использоваться JS/PWA-техники. Тег "lastmod" в файле Sitemap сообщит поисковому роботу, когда в последний раз обновлялась страница.

9) Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать JavaScript или же использовать другие подходы при индексации таких страниц.

# Пт Мар 11, 2016 9:37 amIngritt Зарег.: 09.07.2013 ; Сообщ.: 1253Ответить с цитатой
Цитата:
Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать JavaScript


Это какие поисковики не поддерживают JavaScript?
Новая тема Написать ответ    ГЛАВНАЯ ~ ПОИСКОВЫЕ СИСТЕМЫ
 На страницу Пред.  1, 2
Любое использование материалов, размещенных на ArmadaBoard.com, без разрешения владельцев ArmadaBoard.com запрещено.