SEO - Обслуживание внутренних результатов поиска для поисковых роботов

1. Что другие сайты делают для предоставления результатов внутреннего поиска?
2. Опасности с индексированными внутренними результатами поиска или пользовательским контентом
3. Взлом SERPS через внутренний поиск
4. Улучшение вашей внутренней стратегии поиска
5. Обслуживание внутренних результатов поиска в качестве сайта вакансий
6. Обслуживающие сканеры с правильным внутренним поисковым контентом
7. Нравится ли Google показывать результаты внутреннего поиска в 2018 году?
8. Больше удовольствия с внутренним поиском

Спросите SEO, что бы они порекомендовали, если бы на веб-сайте клиента была функция внутреннего поиска, и 9 из 10 раз они сказали бы вам «noindex» на странице результатов поиска. Роль тега noindex при размещении в заголовке сайта и при уважении поисковыми системами не позволяет возвращать эти страницы внутреннего поиска в качестве результатов в Google или любой другой поисковой системе.
Мое собственное мнение было (и остается) тем же - оно должно * нормально * быть неиндексированным. Но, как и в случае с SEO, существует множество нюансов и ситуаций, когда этот совет не всегда черно-белый, как нам бы этого хотелось.
До тех пор, пока несколько лет назад Руководство для веб-мастеров Google заявил, что эти результаты поиска действительно должны быть проиндексированы, чтобы предотвратить доступ к ним сканеров, но это, по-видимому, было удалено из самой последней версии этих рекомендаций.

Снимок экрана старых Руководств Google для веб-мастеров, в которых упоминается использование файла robots.txt для предотвращения сканирования страниц с результатами поиска (взято с WayBack Machine в 2007 году).

Многие SEO все еще верят, что это так, но из моих наблюдений в дикой природе есть много сайтов, которые игнорируют этот совет и с радостью разрешают сканерам доступ к этим поисковым страницам.
Я хотел взглянуть на возможные опасности индексации этого контента - что это значит для вашего сайта, и как на самом деле его можно использовать в ваших интересах.

Прежде чем я углублюсь в статью, вы можете услышать, как мой вопрос задают Джону Мюллеру в Google во время его отличного еженедельника. Hangouts для веб-мастеров.

Видео Джона Мюллера из Google, читающего / отвечающего на мой вопрос о предоставлении внутренних результатов поиска в Google

Что другие сайты делают для предоставления результатов внутреннего поиска?

Я исследовал область внутреннего поиска без индекса в течение некоторого времени, более или менее с тех пор, как Giphy.com якобы был оштрафован за эту вещь. Для тех, кто не слышал о них, большая часть их органического трафика приходилась на страницы, которые были фактически внутренними результатами поиска.

Они лихо хвастался «владением» СЭР «Happy Birthday» в интервью Только для них, чтобы быть наказаны почти в одночасье. С тех пор они не проиндексировали свои результаты поиска и начали восстанавливаться - хотя, похоже, с тех пор на них, возможно, повлияли некоторые более свежие обновления Google.

Снимок экрана: первоначальное органическое падение Giphy.com с последующим медленным отскоком и последующим более поздним падением (данные взяты из SEMRush)

Одна из других основных причин, по которой меня недавно привлекла эта тема, была вызвана моим собственным просмотром веб-страниц - я заметил, что многие крупные сайты в Интернете не индексируют свои результаты поиска и, очевидно, очень хорошо справляются с этим, судя по поисковой выдаче Google , Посмотрите на пример Wayfair.com, популярного интернет-магазина мебели.

Органический рейтинг для Wayfair.com показывает только результаты, основанные на их страницах результатов внутреннего поиска (данные взяты из SEMRush)

Похоже, что в одних отраслях он более распространен, чем в других, но использование внутренних результатов поиска для поисковых систем кажется более распространенным, чем нет. Я лично думаю, что часто это происходит потому, что многие сайты не осознают, что делают это, или когда они осознают это, они боятся останавливаться - потому что это приносит много трафика.
Но я предполагаю, что в случае с Wayfair.com они увидели выгоду в том, чтобы делать это, поэтому до тех пор, пока он не перестанет работать (или они будут оштрафованы), они будут придерживаться этого, и пока они знают о это, и регулярно контролировать это, тогда вы можете утверждать, что это достаточно справедливо.

Посмотрите еще на несколько примеров ниже, показывающих сайты, которые не индексируют свои собственные результаты поиска или их пользовательский контент.

FirstCry.com - это интернет-магазин для новых мам в Индии. У них есть 180 000 проиндексированных страниц в Google - что неудивительно, если их огромное количество основано на внутренних поисковых запросах (интересно, не упал ли ребенок на ноутбук, когда мама или папа не смотрели?…)

Так же как сайты электронной коммерции недостаточно используют необходимый тег noindex PeoplePerHour.com, популярный британский сайт фрилансеров, также имеет свои собственные проблемы. Большая часть их функции поиска работы фрилансера создает собственный контент, который с радостью используется поисковыми системами, в то время как существуют проблемы с самими фрилансерами и с тем, как их контент индексируется.

Эректильная дисфункция фриланса, вероятно, не тот качественный контент, который вы хотите обслуживать людям - или поисковым системам, как это делает PeoplePerHour.com в настоящее время.

С помощью вышеупомянутой функции «внештатного поиска», генерирующей огромное количество некачественного контента, им предстоит большая работа по очистке контента, который уже проиндексирован в Google.

Трудно инициировать эти поиски «естественно» (что является удачным для PPH), но опять же сайт: приведенный выше пример поиска показывает, что они действительно должны контролировать автоматически создаваемый контент сайта и не допускать его индексации в огромных количествах.

Ищете кого-нибудь, кто вас обворовал? PPH тебя охватил! (извините любого из этих пользователей, показанных выше!) Эта дополнительная функция динамического поиска (которая не индексируется) создает много ненужного индексируемого контента

Я написал немного больше о проблемах SEO с PeoplePerHour - основной TLDR заключается в том, что, как и вышеупомянутые проблемы, они также связаны с огромным количеством результатов внутреннего поиска через свои обширные XML-карты сайта. Так что, на мой взгляд, они на 100% ответственны за индексацию Google всего этого дерьмового контента (я пытался связаться с ними несколько раз, чтобы они знали об этом, но я не получил ответа, поэтому считаю их честными)?

Канонический тег на приведенной выше странице указывает на автоматически созданный поиском URL-адрес, а также не индексируется, что приводит к индексированию всех видов контента.

Опасности с индексированными внутренними результатами поиска или пользовательским контентом

Таким образом, помимо очевидных моментов, приведенных выше, существует ряд причин, по которым это обычно является плохой практикой. Прежде всего , весьма вероятно, что страницы результатов внутреннего поиска вашего сайта не будут самыми оптимальными страницами, которые вы хотели бы вернуть в поисковой системе.

На поисковых страницах, вероятно, все еще отображается запрос, а также любые продукты, которые соответствуют поисковому запросу, но, вероятно, на этой конкретной странице больше ничего не происходит - много повторяющегося контента (верхний или нижний колонтитул) или иначе называемый шаблонный контент.

Скорее всего, у вас будут гораздо лучшие страницы, которые вы хотели бы показать пользователю, а также показать Google. Wayfair.com снова является примером сайта с этой конкретной проблемой - посмотрите ниже, включая их динамические мета-заголовки / описания тегов!

По общему признанию трудно вызвать эту SERP в дикой природе без вышеупомянутого поискового запроса, но это хороший пример того, как внутренний поиск не всегда работает (особенно в сочетании с автоматически генерирующимися метатегами!)

Если бы вы были достаточно смелы, чтобы просмотреть вышеупомянутую выдачу, вы поприветствовали бы следующую страницу - какой (IMO) не тот контент, который вы хотели бы, чтобы пользователи или поисковые системы открывали для себя как поставщик мебели для дома…

Вы можете увидеть использование динамической вставки ключевых слов в теге заголовка (H1), а также в тексте описания. Этот вид динамической вставки довольно старый, но, похоже, генерирует хороший органический трафик для Wayfair.com

Еще один риск использования индексируемого поискового контента состоит в том, что если у вас есть сайт электронной коммерции с большим количеством товаров в списке, то, вероятно, страницы результатов поиска могут иметь огромный объем возвращаемых результатов (особенно если принять во внимание опции фильтрации товаров, которые создают дополнительные URL) - или страница поиска может даже вернуть бесконечное количество результатов, создавая почти бесконечные циклы.

Любой, кто знаком с бюджетами на сканирование, знает, что это вызывает большие проблемы с SEO. Управляйте роботом Google, не индексируя страницы результатов поиска, чтобы не тратить их впустую на сканирование и сжигать ценные ресурсы ваших веб-хостов. Вы можете, очевидно, использовать такой инструмент, как OnCrawl чтобы найти и диагностировать эти проблемы сканирования, просто запустив полный обход всех областей вашего сайта.

Часть Сводка анализа сайта с использованием облачного сканера OnCrawl, показывающая сайт, который практически не проиндексировал свое содержание из-за опасений по поводу его некачественности - лучше, чем потом сожалеть!

Взлом SERPS через внутренний поиск

И, наконец, и, пожалуй, самая главная причина, по которой мы избегаем индексируемых поисковых страниц, - это возможность индексации Google и возврата того, что мне нравится называть «плохой SERPS». Это результаты, которые могут плохо отразиться на сайтах вашего клиента, аналогично примеру Wayfair.com ранее.

Такая ситуация не так распространена, но может случиться - и это риск, когда ваши внутренние страницы поиска создают индексируемые динамические страницы, основанные на поиске пользователя. Поэтому введите поисковый запрос, например «Мэтт любит использовать oncrawl», и он сгенерирует конечный URL-адрес, например «domain.com/?query=matt-loves-using-oncrawl», который может быть подобран и проиндексирован.
Это случилось со Spotify недавно, и я был относительно удивлен, что это осталось в значительной степени незамеченным в сообществе SEO. Google возвращал специальный фрагмент для поиска типа «Spotify phone number», в результате чего люди явно ищут контактный номер для Spotify (у которого нет одной настройки).

Итак, как Google может вернуть рекомендуемый фрагмент, показывающий контактный номер для Spotify, если такой информации не существует? Все просто - спамеры искали этот запрос на веб-сайте Spotify, а затем нацелили несколько ссылок на эту страницу внутреннего поиска (что я и так предполагаю).

Google каким-то образом обнаружил, что это, вероятно, хорошее соответствие для поисковых запросов пользователей, и поэтому начал возвращать этот конкретный URL-адрес в виде избранного фрагмента. Сам телефонный номер, вероятно, выводил людей на премиум-линию, а не кого-либо в Spotify HQ.

Внутренние поисковые запросы довольно редко создают свои собственные страницы динамически таким образом, но если они это делают, очень важно контролировать эти типы страниц - это может создать огромное количество нежелательного контента, снижая общее качество сайта и тратя впустую бюджеты, как упоминалось ранее. Или, в качестве альтернативы, это может привести к пиар-кошмару, как в случае с описанной выше ситуацией Spotify!

Улучшение вашей внутренней стратегии поиска

Для тех сайтов, которые полагаются на то, чтобы предоставлять пользователям много результатов поиска - например, крупные сайты электронной коммерции, где интенсивно используется функция поиска, платформа для обмена фотографиями или платформа вакансий, где вакансии обновляются на регулярной основе, к счастью, есть некоторые что можно сделать, чтобы улучшить опыт поиска; как для людей, так и для поисковых роботов.
Одним из примеров сайта, который хорошо выполняет свою поисковую функцию, является Airbnb. Они делают много замечательных вещей, чтобы контролировать использование поиска на сайте - где функция поиска является важной частью процесса бронирования.

В Airbnb действительно сложно найти что-то, чего не существует, поскольку он автоматически предлагает вам выбрать местоположение по мере ввода текста - как вы можете видеть, когда я ищу «Борнмут». Они ускоряют процесс поиска и ведут вас туда, где, по их мнению, вы хотите идти. Эта форма «управления поисковыми воротами» улучшает пользовательский интерфейс и улучшает взаимодействие с пользователем - обе эти области становятся все более важными для хорошей общей стратегии SEO.

Если бы я искал в Google запрос «Airbnb Bournemouth», вы могли бы четко увидеть, что 2 лучших полученных результата получены от Airbnb.co.uk и Airbnb.com (примечание: использование ccTLD - отличная тактика для получения большего охвата SERP по всему миру). бренды), которые указывают на то, что выглядит как страница внутренних результатов поиска для Борнмута….

В поисках Airbnb Bournemouth - обратите внимание на «20 лучших мест для отдыха…» и использование текущего года - 2018 в теге заголовка для повышения CTR за счет повышения его релевантности.

Но, как вы увидите, это может показаться типичным результатом внутреннего поиска, но на самом деле он немного лучше, чем ваш типичный автоматически сгенерированный контент, как подчеркивалось ранее на Wayfair.com.

Целевая страница для предыдущего поискового запроса - хорошо оптимизирована для этого конкретного поискового запроса и имеет множество релевантных списков в Борнмуте (более 20 - тег заголовка, показанный ранее, был просто наживкой!)

У меня не хватило терпения просеять более 100 индексных файлов сайтов XML, которые я обнаружил при проверке ожидаемого модного файла robots.txt в Airbnb, но я вполне уверен, что если вы это сделаете, то найдете несколько ссылок на эти страницы внутреннего поиска. Ссылка на них из XML-карты сайта - это чистый, надежный и быстрый способ для такого крупного сайта, как Airbnb, чтобы получить их и проиндексировать Google и другие.

Модный файл airbnb robots.txt, как и следовало ожидать от такой компании, как их ...

Обслуживание внутренних результатов поиска в качестве сайта вакансий

Еще один сайт, который отлично справляется с внутренними результатами поиска, - TotalJobs.com. Они не только заняли первое место в Google, когда я случайно выполнил поиск «SEO Jobs», но я вижу, что они тактически используют функцию поиска и функцию noindex.
Например, пока эта страница результатов поиска для “SEO Jobs” не индексируется - как и следовало ожидать, поскольку это ключевая тема работы, при случайном поиске бессмысленных терминов, которые не следует индексировать, действительно добавлен тег noindex. A + для команды SEO Total Jobs!

Хорошая работа TotalJobs.com - интеллектуальное использование тега noindex, основанное на низком (надеюсь, 0!) Поисковом запросе, который я ввел в качестве теста…

Обслуживающие сканеры с правильным внутренним поисковым контентом

Другие способы, которые могут помочь поисковым сканерам найти и проиндексировать внутренние страницы поиска, имеющие значение для вашего веб-сайта, включают:

• Разбиение на страницы - это означает применение правильной разметки (предыдущая, следующая и т. Д.), Чтобы указать, что контент занимает одну или несколько страниц или существует как часть серии. Этот код разметки не виден конечному пользователю, но он помогает поисковым системам понять, как структурирован контент, и узнать больше об архитектуре сайта и контексте контента.

• Панировочные сухари - они действительно могут помочь пользователям в навигации по сайту, а также помогают поисковым роботам понять приоритетные разделы сайта. Они появляются под заголовком контента часто так:

Главная> Название категории> Название подкатегории> Продукт.

• Категоризация - разделение ключевых разделов сайта по категориям. Эта форма таксономии помогает пользователям перемещаться по сайту, а также помогает поисковым сканерам. Разбиение вашего контента по категориям является важной частью вашей внутренней архитектуры сайта.

• Фасетная навигация - это крепкий орешек, но в конечном итоге (при правильном использовании) он может помочь поисковым роботам и пользователям перемещаться по контенту (обычно продуктам), указанному на вашем сайте, по их конкретным атрибутам.

Например, в интернет-магазине мобильных телефонов вы можете указать Android как атрибут продукта, а также цену, размер экрана и т. Д. Все это может создать ряд вариантов URL, которые требуют тщательного рассмотрения как часть общей структуры вашего сайта - с учетом бюджетов сканирования и дублирования контента.

Вы хотите (в идеале) консолидировать URL-адреса по конкретным продуктам / категориям, а не создавать те, которые зависят от различных атрибутов.

Argos.co.uk является примером сайта, который имеет большие проблемы с внутренней структурой - им не хватает четкой структуры сайта, а улучшение классификации и многогранной навигации, вероятно, приведет к значительным улучшениям в SEO.

Нравится ли Google показывать результаты внутреннего поиска в 2018 году?

Я считаю, что в последнее время с некоторыми крупными обновлениями алгоритма поиска Google стал шире использовать расширенное машинное обучение, которое легко может понять, как работает функция поиска на большинстве сайтов, что приводит к увеличению числа возвращаемых сайтов. как результаты Google (которые состоят из внутренних поисковых страниц).
Короче говоря, Google теперь рад возвращать результаты внутреннего поиска в качестве результата в своем продукте, но при условии, что, если они увидят низкое время ожидания клика или высокий уровень возврата к результатам поиска, Google покажет, что конкретная страница меньше раз в своих результатах . По крайней мере, это моя собственная теория, основанная на том, что я заметил в SERPS за последние несколько месяцев.

Приведенная выше гипотеза действительно имеет смысл - если результаты, возвращаемые Google, соответствуют запросу пользователей и удовлетворяют элементу их поискового намерения, то все довольны.
Из-за путаницы среди сообщества SEO, я чувствовал, что вопрос предоставления внутренних результатов поиска (и недавних положительных рейтингов, полученных сайтами, которые их используют) заслуживает дополнительных исследований. Этот пост только поцарапал поверхность на предмете - есть много еще, чтобы быть покрытым здесь!

Больше удовольствия с внутренним поиском

Давайте посмотрим, сможет ли сообщество SEO пойти дальше - какие сумасшедшие результаты внутреннего поиска или пользовательский контент вы можете обнаружить в дикой природе? Дайте нам знать со скриншотом или комментарием ниже!

Похожие

Комментарии