Создание и оптимизация WordPress Robots.txt для SEO

  1. Создание файла robots.txt
  2. Основной синтаксис robots.txt
  3. Руководит вашим файлом Robots.txt для SEO

Robots.txt - это простой текстовый файл, содержащий правила индексации вашего сайта. Файл robots.txt - это инструмент для прямой связи с поисковыми системами. Одним из наиболее распространенных способов использования файла robots.txt является скрытие определенных частей вашего веб-сайта, которые могут быть неполными или находящимися на стадии разработки, от сканеров поисковых систем. По сути, он сообщает поисковым системам, какую часть вашего сайта они могут сканировать, а какую - не сканировать. WordPress сам по себе содержит виртуальный файл robots.txt. Поэтому, даже если у вас нет файла robots.txt, поисковая система все равно будет индексировать ваш сайт. Тем не менее, наличие вашего собственного файла robots.txt вручную дает вам лучший контроль над вещами. В этой статье мы обсудим, как создать и оптимизировать WordPress robots.txt для SEO.

txt для SEO

Создание файла robots.txt
  1. Просто создайте текстовый файл с именем robots.txt .
  2. Загрузите его через FTP в корневую папку. Хорошее правило - хранить файл robots.txt там же, где и ваш индексный файл.
Установка правил внутри robots.txt

Файл robots.txt имеет собственный синтаксис для определения правил, называемых « директивами ».

Основной синтаксис robots.txt

Несколько терминов, с которыми вы должны быть знакомы при написании правил.

  • User-Agent - Определяет сканер поисковой системы, такой как Googlebot, Bingbot и т. Д.
  • Disallow - запрещает сканеру сканировать определенные файлы, страницы или каталоги.
  • Звездочка (*) - определяет универсальные директивы. Выбор всех из них

Файл robots.txt обычно начинается с имени пользовательского агента. Затем следуют инструкции Разрешить или Запретить в следующей строке. Если вы хотите заблокировать всех поисковых роботов со всего вашего сайта, вы должны настроить robots.txt следующим образом:

Пользователь-агент: * Disallow: /

Аналогичным образом, следующий код предоставит только Google полный доступ к вашему сайту, где, как и всем остальным сайтам, запрещено сканировать ваш сайт.

Пользователь-агент: Googlebot Disallow: Пользователь-агент: * Disallow: /

Дополнительный синтаксис

Вот еще несколько синтаксисов:

  • Разрешить - разрешает сканирование ботов на вашем сервере
  • Карта сайта. Сообщите сканерам, где находится ваша карта сайта.

Разрешить используется, когда вы хотите предоставить поисковым системам доступ к определенным частям вашего сайта.

Пользовательский агент: * Разрешить: /wp-includes/my-file.php Запретить: / my-includes /

Приведенный выше код позволит поисковым роботам получить доступ только к моему файлу . PHP- файл внутри моей - включает в себя каталог . Вы также можете добавить строки, связанные с картой сайта, в файл robot.txt. Строки директивы sitemap сообщат поисковым системам, где найти карту сайта вашего сайта.

Карта сайта: http://www.mustbeweb.com/sitemap_index.xml Карта сайта: http: // www.mustbeweb.com /post-sitemap.xml Карта сайта: http: // www.mustbeweb.com /page-sitemap.xml Карта сайта : http: // www.mustbeweb.com /category-sitemap.xml Карта сайта: http: // www.mustbeweb.com /post_tag-sitemap.xml

Примечание: Полезность линковании XML карты сайта с вашего robots.txt является спорной. Поэтому лучшим способом будет добавить их вручную в инструменты Google и Bing для веб-мастеров. У нас есть целый раздел статей о файлах Sitemap, которые вы можете прочитать, чтобы узнать больше о файлах Sitemap.

Руководит вашим файлом Robots.txt для SEO

  1. Не рекомендуется использовать файл robots.txt, чтобы скрыть низкокачественный контент.
  2. Не используйте файл robots.txt, чтобы Google не проиндексировал вашу категорию, дату и другие страницы архива.
  3. Нет необходимости добавлять вашу страницу входа в WordPress, каталог администратора или страницу регистрации в robots.txt, потому что WordPress не добавил индексный тег в качестве метатега на этих страницах.
  4. Рекомендуется запретить файл readme.html в файле robots.txt. Запрет файла readme скрывает версию вашего WordPress и защищает вас от этих массовых атак.
  5. Запретить каталог плагинов WordPress для повышения безопасности вашего сайта.
  6. Не используйте комментарии в файле Robots.txt.
  7. Не оставляйте пробел в начале любой строки и не занимайте обычное место в файле.

Как должен выглядеть идеальный файл Robots.txt?

Вот пример файла robots.txt, который мы используем на нашем сайте.

Карта сайта: http://www.mustbeweb.com/sitemap_index.xml Пользовательский агент: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / wp-includes / Disallow: / архивы / Disallow: *? replytocom Disallow: / comments / feed / User-agent: Mediapartners-Google * Разрешить: / User-agent: Googlebot-Image Разрешить: / wp-content / uploads / User-agent: Adsbot-Google Allow: / User-agent: Googlebot -Мобильный Разрешить: /

Настройка файла robot.txt является важным шагом для SEO. Однако запрет Google на слишком частый доступ к вашему сайту может отрицательно повлиять на ранжирование результатов поиска. Современная тенденция заключается в минимальной настройке robots.txt . Также убедитесь, что ваш файл robots.txt настроен правильно. Если ваш файл robots.txt неправильно настроен, он может быть полностью проигнорирован поисковыми системами, что приведет к полному исчезновению вашего сайта из поисковых систем. Таким образом, ваш файл robots.txt должен быть хорошо оптимизирован и не должен блокировать доступ к важным частям вашего блога.

Файл Robot.txt является дискуссионной темой. Не существует согласованного стандарта для лучших методов настройки robots.txt с точки зрения SEO. Поэтому мы рекомендуем вам создать собственный файл robots.txt в соответствии с вашими требованиями.

Следующие две вкладки изменяют содержимое ниже.

Кантиман Байрачарья - независимый веб-разработчик. Он компьютерный гик, имеет степень бакалавра компьютерных технологий. Он заработал много довольных клиентов, работая над многочисленными успешными проектами. Он также является создателем темы WordPress и автором веб-статей. В свободное время он любит читать книги по философии, путешествовать и играть в шахматы.

Txt?
Xml Пользовательский агент: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / wp-includes / Disallow: / архивы / Disallow: *?