#SEO Campus - Как оптимизировать бюджет сканирования Google

  1. Что определяет бюджет сканирования Google?
  2. Но вдруг, как оптимизировать сканирование бюджета Google?
  3. Советы по оптимизации обхода бюджета: элементы для изучения и оптимизации

После того, как Google подтвердил существование бюджета сканирования с объяснениями Гэри Илилса в выпуске о плюсах и минусах для Googlebot, Альфа Кейта (Trainning Manager в Botify) предложил свой совет SEO Campus 2017 оптимизировать это! Но перед тем, как представить вмешательство Alpha, что лучше запомнить объяснение Google Budget Crawl ?

Что определяет бюджет сканирования Google?

Google объяснил в своем выпуске что бюджет обхода был определен в соответствии с двумя элементами:

1. Ограничение скорости сканирования . Это скорость, с которой Google сканирует ваш сайт. Это важно, потому что, если робот Googlebot забирает слишком много ресурсов с вашего сайта, это может повредить опыту ваших «настоящих» пользователей (более медленное соединение ...). Таким образом, Google учитывает два элемента, чтобы ограничить эту скорость:

  • Состояние исследования: робот Googlebot адаптирует скорость исследования в соответствии с временем отклика первых исследованных страниц.
  • Лимит, установленный в консоли поиска Google: у вас есть возможность установить лимит сканирования (увеличение этого лимита не приведет к увеличению сканирования).

2. Необходимость исследования . Нужно ли Google повторно сканировать ваш сайт? Он будет решать это в соответствии с двумя факторами:

  • Популярность ваших URL-адресов: самые популярные URL-адреса наиболее изучены Google, чтобы обновить их в своем индексе.
  • Устаревание: элемент по отношению к предыдущему пункту> Google хочет убедиться, что URL-адреса его индекса всегда текущие / обновленные

Но вдруг, как оптимизировать сканирование бюджета Google?

Альфа Кейта начал свое вмешательство с фигуры, которая не оставляет равнодушным: Google сканирует только 40% полезных страниц . Таким образом, реальность такова, что большинство сайтов теряют 60% возможностей позиционирования. Итак, вопрос: как мы можем позволить Googlebot сканировать оставшиеся 60%? Сначала вы должны знать URL, которые сканируются.

Для этого мы можем обратиться к консоли поиска Google, но, учитывая ее результаты, большую часть времени разочаровывающие, рекомендуется провести анализ, который будет составлять два элемента: сканирование сайта и анализ журнала . Напомним, что журналы содержатся в файлах сервера, которые учитывают все посещения, которые получает веб-сайт (посещения ботов-исследователей, бот- или «настоящие» пользователи).

Таким образом, анализ этой газеты позволит нам классифицировать и сегментировать наши URL. Таким образом, мы сможем наблюдать различные URL-адреса между ними (в зависимости от категории), но особенно URL-адреса, которые обычно сканируются роботом Googlebot . Более того, мы сможем узнать (благодаря совместному анализу сканирования и журналов) процент страниц, которые являются сканируемыми, типологию этих страниц, а также страницы-сироты (страницы, которые больше не привязаны к структуре сайта). сайт - не обнаруживается при сканировании, но сканируется Google).

После этого анализа мы зададим вопрос: относятся ли мои страницы к основным категориям, просканированным Google? Если так, поздравляю! Остановитесь здесь и идите праздновать это с вашими коллегами! Если нет, продолжайте читать наши советы по оптимизации бюджета. Сканирование вашего сайта 😉

Советы по оптимизации обхода бюджета: элементы для изучения и оптимизации

  • Время загрузки страницы : рекомендуется не превышать 500 миллисекунд. Будет работать время отклика вашего сервера, оптимизация ваших изображений, ваши ресурсы ...
  • Ошибки сканирования : очистите все ваши 404, 500 страниц ... потому что важно, чтобы URL-адреса легко сканировались для правильного исследования сайта!
  • Разбавление PageRank : Google упорядочивает сканирование в порядке PageRank (сначала самые важные / качественные страницы). Итак, если мы применим формула PageRank на наших URL мы сможем наблюдать процент просканированных URL-адресов в соответствии с их PageRank. Затем мы сможем удалить страницы с низким значением SEO , что позволит нам больше сканировать страницы с большим PageRank.
  • Пустые или почти пустые страницы: идентифицируйте страницы с небольшим содержанием и добавляйте содержимое или удаляйте эти страницы, если они не являются ни приоритетными, ни стратегическими.
  • Страницы, заблокированные robots.txt : определить внутренние ссылки, которые указывают на заблокированные страницы в robots.txt, и удалить их.
  • Глубина страницы : теоретически, чем глубже страницы, тем сложнее их сканировать . Таким образом, вам нужно будет переработать ваше дерево и разместить ваш приоритетный / стратегический контент с точки зрения ссылок на максимальную глубину 5 уровней.
  • Измерьте влияние внутренних ссылок на сканирование Google : посмотрите на среднее количество страниц ссылок , которые не были просканированы Google, и сравните их с количеством ссылок, полученных на страницах, просканированных Google, - это даст вам видение качества ваших внутренних ссылок. Предупреждение: обязательно сравните страницы одного типа (длинный хвост и короткий хвост).
  • Обработка потерянных страниц : цель состоит в том, чтобы идентифицировать, посредством анализа журнала, страницы, которые нужно восстановить и связать со структурой сайта (эти потерянные страницы могут иметь PageRank и, следовательно, могут быть интересны для позиционирования).
  • Проанализируйте и очистите ваши карты сайта : определите URL-адреса ваших карт сайта, которые не связаны со структурой вашего сайта, и удалите их из файла sitemap.xml.
  • Устаревание ваших страниц : этот элемент, менее принятый во внимание, имеет большое значение. Речь идет об оценке времени удержания в индексе Google ваших страниц . Мы знаем, что чем популярнее страницы, тем больше Google будет сканировать их, чтобы обеспечить достоверность содержания. Если мы узнаем об устаревании страниц, мы можем рассчитать, сколько раз Google будет их исследовать . Для этого нам нужно просмотреть активные страницы (страницы с трафиком), а также страницы, которые были просканированы в последний раз (в тот же день, вчера, два дня назад ...). Это даст нам процент исследования этих страниц. Затем необходимо будет классифицировать эти URL (длинный хвост / короткий хвост) и оценить среднее исследование по типологии URL. Это позволит нам узнать страницы, которые являются приоритетными для Google (те, которые имеют более длительный срок устаревания) и, таким образом, уточнить бюджет Сканирование.

Мы надеемся, что вам понравилось это резюме! Не стесняйтесь поделиться им и ознакомиться с остальными отзывами о SEO Campus 2017!

Аврора Ривера -