Google & JavaScript: индексирование Googlebot может пропустить метаданные, канонические и коды состояния

Вчера на Google I / O Google подробно описал некоторые проблемы, связанные с использованием JavaScript, когда речь идет о сканировании и индексации контента. Они обнаружили, что Робот Googlebot будет обрабатывать тяжелые страницы JavaScript в два этапа - первоначальное сканирование, а затем через несколько дней - второе, которое полностью отобразит JavaScript. Но есть проблемы с этим двухэтапным подходом, которые могут привести к тому, что Google пропустит важные данные.

При такой двухфазной индексации вторая волна индексации не проверяет такие вещи, как канонические и метаданные - если это не отображается при первом начальном отображении роботом Google, его можно полностью пропустить и повлиять на индексирование и ранжирование.

Например, если ваш сайт представляет собой прогрессивное веб-приложение, построенное на основе модели одностраничного приложения, то, вероятно, все ваши URL-адреса совместно используют некоторый базовый шаблон ресурсов, которые затем заполняются контентом с помощью AJAX или запросов на выборку. И если это так, подумайте об этом - была ли в исходной отрендеренной версии страницы правильный канонический URL-адрес? Потому что, если вы полагаетесь на то, что он будет отображаться клиентом, то мы фактически полностью упустим его, потому что вторая волна индексации вообще не проверяет канонический тег.

Кроме того, если пользователь запрашивает URL-адрес, который не существует, и вы пытаетесь отправить пользователю страницу 404, то на самом деле мы тоже пропустим это.

Джон Мюллер подтвердил это и в Твиттере.

Мы (в настоящее время) обрабатываем rel = canonical только для исходно извлеченной неотрисованной версии.

- Джон ☆ .o (≧ ▽ ≦) o. ☆ (@JohnMu) 10 мая 2018 г.

Он подчеркивает, что это не мелкие проблемы, но они могут быть серьезными.

Важная вещь, которую необходимо уловить прямо сейчас, заключается в том, что это действительно не мелкие проблемы, это реальные проблемы, которые могут повлиять на вашу индексируемость. Метаданные, канонические символы, HTTP-коды, как я уже упоминал в начале этого выступления, - все это действительно ключ к пониманию поисковыми роботами контента на ваших веб-страницах.

Он продолжает и упоминает, что у веб-сайта Google I / O также были эти проблемы, в результате чего Google пришлось изменить способ отображения страницы, чтобы она сканировалась и индексировалась должным образом.

Джон Мюллер позже предположил, что сайты могут использовать динамический рендеринг, когда сайты предоставляют законченную версию Googlebot и другим сканерам, в то же время обслуживая обычный тяжелый JavaScript для пользователей.

У нас есть еще один вариант, который мы хотели бы представить, мы называем его динамическим рендерингом.

В двух словах, динамический рендеринг - это принцип отправки обычного клиентского контента пользователям и отправки полностью серверного контента поисковым системам и другим сканерам, которым это необходимо.

Он углубляется в подробности в видео ниже.

Для тех, кто задается вопросом, будет ли это считаться клоакингом, при правильном выполнении это не будет клоакингом, поскольку и пользователи, и робот Googlebot будут видеть один и тот же контент, он просто обслуживается по-разному, поэтому робот Googlebot может правильно проиндексировать его при первом проходе.

Следующие две вкладки изменяют содержимое ниже.

Дженнифер Слегг - давний спикер и эксперт по маркетингу в поисковых системах, работающая в отрасли почти 20 лет. Когда она не сидит за письменным столом и не работает, ее можно найти, схватив латте в местном Starbucks или планируя следующую поездку в Диснейленд. Она регулярно выступает в Pubcon, SMX, State of Search, Brighton SEO и др. И более десяти лет выступает на конференциях.

Похожие

Комментарии