Robots.txt - это простой текстовый файл, содержащий правила индексации вашего сайта. Файл robots.txt - это инструмент для прямой связи с поисковыми системами. Одним из наиболее распространенных способов использования файла robots.txt является скрытие определенных частей вашего веб-сайта, которые могут быть неполными или находящимися на стадии разработки, от сканеров поисковых систем. По сути, он сообщает поисковым системам, какую часть вашего сайта они могут сканировать, а какую - не сканировать. WordPress сам по себе содержит виртуальный файл robots.txt. Поэтому, даже если у вас нет файла robots.txt, поисковая система все равно будет индексировать ваш сайт. Тем не менее, наличие вашего собственного файла robots.txt вручную дает вам лучший контроль над вещами. В этой статье мы обсудим, как создать и оптимизировать WordPress robots.txt для SEO.
Создание файла robots.txt
- Просто создайте текстовый файл с именем robots.txt .
- Загрузите его через FTP в корневую папку. Хорошее правило - хранить файл robots.txt там же, где и ваш индексный файл.
Установка правил внутри robots.txt
Файл robots.txt имеет собственный синтаксис для определения правил, называемых « директивами ».
Основной синтаксис robots.txt
Несколько терминов, с которыми вы должны быть знакомы при написании правил.
- User-Agent - Определяет сканер поисковой системы, такой как Googlebot, Bingbot и т. Д.
- Disallow - запрещает сканеру сканировать определенные файлы, страницы или каталоги.
- Звездочка (*) - определяет универсальные директивы. Выбор всех из них
Файл robots.txt обычно начинается с имени пользовательского агента. Затем следуют инструкции Разрешить или Запретить в следующей строке. Если вы хотите заблокировать всех поисковых роботов со всего вашего сайта, вы должны настроить robots.txt следующим образом:
Пользователь-агент: * Disallow: /
Аналогичным образом, следующий код предоставит только Google полный доступ к вашему сайту, где, как и всем остальным сайтам, запрещено сканировать ваш сайт.
Пользователь-агент: Googlebot Disallow: Пользователь-агент: * Disallow: /
Дополнительный синтаксис
Вот еще несколько синтаксисов:
- Разрешить - разрешает сканирование ботов на вашем сервере
- Карта сайта. Сообщите сканерам, где находится ваша карта сайта.
Разрешить используется, когда вы хотите предоставить поисковым системам доступ к определенным частям вашего сайта.
Пользовательский агент: * Разрешить: /wp-includes/my-file.php Запретить: / my-includes /
Приведенный выше код позволит поисковым роботам получить доступ только к моему файлу . PHP- файл внутри моей - включает в себя каталог . Вы также можете добавить строки, связанные с картой сайта, в файл robot.txt. Строки директивы sitemap сообщат поисковым системам, где найти карту сайта вашего сайта.
Карта сайта: http://www.mustbeweb.com/sitemap_index.xml Карта сайта: http: // www.mustbeweb.com /post-sitemap.xml Карта сайта: http: // www.mustbeweb.com /page-sitemap.xml Карта сайта : http: // www.mustbeweb.com /category-sitemap.xml Карта сайта: http: // www.mustbeweb.com /post_tag-sitemap.xml
Примечание: Полезность линковании XML карты сайта с вашего robots.txt является спорной. Поэтому лучшим способом будет добавить их вручную в инструменты Google и Bing для веб-мастеров. У нас есть целый раздел статей о файлах Sitemap, которые вы можете прочитать, чтобы узнать больше о файлах Sitemap.
Руководит вашим файлом Robots.txt для SEO
- Не рекомендуется использовать файл robots.txt, чтобы скрыть низкокачественный контент.
- Не используйте файл robots.txt, чтобы Google не проиндексировал вашу категорию, дату и другие страницы архива.
- Нет необходимости добавлять вашу страницу входа в WordPress, каталог администратора или страницу регистрации в robots.txt, потому что WordPress не добавил индексный тег в качестве метатега на этих страницах.
- Рекомендуется запретить файл readme.html в файле robots.txt. Запрет файла readme скрывает версию вашего WordPress и защищает вас от этих массовых атак.
- Запретить каталог плагинов WordPress для повышения безопасности вашего сайта.
- Не используйте комментарии в файле Robots.txt.
- Не оставляйте пробел в начале любой строки и не занимайте обычное место в файле.
Как должен выглядеть идеальный файл Robots.txt?
Вот пример файла robots.txt, который мы используем на нашем сайте.
Карта сайта: http://www.mustbeweb.com/sitemap_index.xml Пользовательский агент: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / wp-includes / Disallow: / архивы / Disallow: *? replytocom Disallow: / comments / feed / User-agent: Mediapartners-Google * Разрешить: / User-agent: Googlebot-Image Разрешить: / wp-content / uploads / User-agent: Adsbot-Google Allow: / User-agent: Googlebot -Мобильный Разрешить: /
Настройка файла robot.txt является важным шагом для SEO. Однако запрет Google на слишком частый доступ к вашему сайту может отрицательно повлиять на ранжирование результатов поиска. Современная тенденция заключается в минимальной настройке robots.txt . Также убедитесь, что ваш файл robots.txt настроен правильно. Если ваш файл robots.txt неправильно настроен, он может быть полностью проигнорирован поисковыми системами, что приведет к полному исчезновению вашего сайта из поисковых систем. Таким образом, ваш файл robots.txt должен быть хорошо оптимизирован и не должен блокировать доступ к важным частям вашего блога.
Файл Robot.txt является дискуссионной темой. Не существует согласованного стандарта для лучших методов настройки robots.txt с точки зрения SEO. Поэтому мы рекомендуем вам создать собственный файл robots.txt в соответствии с вашими требованиями.
Следующие две вкладки изменяют содержимое ниже.
Кантиман Байрачарья - независимый веб-разработчик. Он компьютерный гик, имеет степень бакалавра компьютерных технологий. Он заработал много довольных клиентов, работая над многочисленными успешными проектами. Он также является создателем темы WordPress и автором веб-статей. В свободное время он любит читать книги по философии, путешествовать и играть в шахматы.
Похожие
SEO обновленияЦифровой мир стал более раскрученным, мощным, чем когда-либо прежде. Это более сфокусировано и более агрессивно. Чтобы получить высокий рейтинг в поисковых системах и сохранить лучшую позицию, вы должны следовать за последними обновлениями SEO в 2017 году. Это один из основных шагов к тому, чтобы быть в курсе последних обновлений SEO в 2017 году и оставаться сосредоточенным , Тенденции SEO прямо пропорциональны обновлениям поисковых систем, которые получают поисковые системы. Поскольку 7 SEO оптимизированных тем WordPress
... для SEO / оптимизирована, дает вам основание для высокого рейтинга в результатах поисковых систем и начинает расти популярность ваших сайтов. Мы, сотрудники WP Carers, собрали этот список из 7 SEO-оптимизированных тем WordPress, чтобы помочь вам найти тему, которая сделает вашу поисковую оптимизацию максимально простой. Изображение: Безумный SEO: блокирование Robots.txt от индексации
Забавная нить происходила в WebmasterWorld обсуждаем способ запрета Google ранжировать файл Robots.txt в поисковой выдаче. Google в настоящее время индексирует 62 100 файлов robots.txt , Многие из них имеют хороший PR, а другие вообще не имеют обратных ссылок (по крайней мере, согласно Yahoo Site Explorer): WordPress SEO бесплатное руководство - SEO Кухня Блог
... seo-kueche.de/unternehmen/whitepaper/"> Вы создали новый сайт с WordPress? Тем самым вы создали основу для своей маркетинговой деятельности в Интернете. Но как вы можете достичь желаемого количества посетителей на вашем сайте? Необходимым условием для этого является, помимо прочего, хороший рейтинг в поисковых системах. Мы рады представить вам SEO 2013 - SEO советы и советы
С некоторыми недавними изменениями в мире SEO стало ясно, что некоторые из факторов ранжирования, которые мы привыкли считать важными, постепенно становятся менее значимыми, в то время как некоторые, которые мы считали бесполезными, начинают приносить пользу. Хотя Google подавил спам-методы SEO и чрезмерно оптимизированные веб-страницы, некоторые из этих методов все еще живы и работают, сохраняя веб-сайты на Поисковая оптимизация (SEO)
Что такое поисковая оптимизация (SEO)? Что ж, SEO помогает таким сайтам, как ваш, появляться в поисковых системах по определенным поисковым запросам. SEO помогает вам найти потенциальных клиентов, которые могут посетить ваш сайт и купить ваш продукт или услугу. Написание SEO статей
... для посетителей вашего сайта. 2. Начните писать статьи и убедитесь, что вы можете выделить и выделить ключевые слова, которые вы хотите оптимизировать на своем сайте. 3. Также убедитесь, что статья не должна быть слишком длинной, идеальная статья по SEO должна составлять около 300-500 слов на статью. 4. После того, как статья закончила писать, вам, конечно, все еще нужно отредактировать грамматические Шарлотта SEO Услуги
SEO или поисковая оптимизация - замечательная тактика для маркетинга. Есть много компонентов, которые входят в SEO, и 366 Marketing знает, как помочь вам со всеми из них. SEO является частью вашей входящей маркетинговой стратегии. Он генерирует потенциальных клиентов, которые заинтересованы в ваших услугах Что значит SEO?
... seo.gif"> Эта аббревиатура расшифровывается как поисковая оптимизация, которая представляет собой набор методов, методов и / или исследований, направленных на улучшение позиционирования ваших страниц в поисковой системе. Первой компанией, использовавшей этот термин, была Мультимедийная маркетинговая группа Джона Одетта (MMG), которая SEO реселлер США
Рынок реселлеров SEO в течение некоторого времени испытывал экспоненциальный рост, так как многие новые интернет-маркетологи открывают для себя возможности SEO в своих кампаниях цифрового маркетинга. Реселлеры SEO знают о новой Делавэр SEO OMG
Компания, которая специализируется на обслуживании медицинского оборудования или услугах ландшафтного дизайна, вероятно, не имеет опыта в написании или анализе
Комментарии
Термин SEO (поисковая оптимизация) повсеместно, но что это значит и что это значит для веб-сайтов?Термин SEO (поисковая оптимизация) повсеместно, но что это значит и что это значит для веб-сайтов? Как это работает и какова его функция? Мы подробно рассмотрим SEO и его применение в Интернете и в бизнесе. Как работают поисковые системы Адресовать как работает SEO Нам нужно начать с вершины Интернета - поисковой системы. Буквально миллионы и миллионы веб-страниц в Интернете. Как Как вы думаете, сложно сделать SEO в блоге WordPress?
Как вы думаете, сложно сделать SEO в блоге WordPress? Хотели бы вы рассказать о своем опыте в первых шагах в SEO? Если вам понравилась статья, вы можете поделиться ею с другом. Вам понравился этот пост? Оцените это Это может вас заинтересовать ... Так что же такое поисковая оптимизация (SEO)?
Так что же такое поисковая оптимизация (SEO)? Это сочетание усилий по цифровому маркетингу, работающих вместе, чтобы повысить ценность сайта для пользователей и его видимость в поиске. Это повторяет: Это не работа поисковой оптимизации, чтобы заставить свинью летать. Работа SEO заключается в том, чтобы генетически реорганизовать сайт, чтобы он стал орлом. - Брюс Клэй Можете ли вы помочь вам с вашим собственным SEO, спросите вы?
Можете ли вы помочь вам с вашим собственным SEO, спросите вы? Нет - мы больше не предоставляем услуги SEO внешним клиентам, хотя мы довольно активны от своего имени для этого сайта и ряда других собственных веб-сайтов и приложений электронной коммерции, что гарантирует, что мы будем в курсе передовых методов SEO и методологии. Выбор лучшей SEO компании для вашей организации - это решающее решение, если вы хотите назначить seoWorks своим WordPress Local SEO Plugin: что входит?
WordPress Local SEO Plugin: что входит? WordPress Local SEO Plugin позволяет вам определять релевантную контактную информацию наиболее оптимизированным способом, в одном месте. Затем вы можете последовательно вставлять эту информацию в любое место на вашем сайте, используя шорткоды или кнопки WYSIWYG: Что такое поисковая оптимизация (SEO)?
Что такое поисковая оптимизация (SEO)? Что ж, SEO помогает таким сайтам, как ваш, появляться в поисковых системах по определенным поисковым запросам. SEO помогает вам найти потенциальных клиентов, которые могут посетить ваш сайт и купить ваш продукт или услугу. Как происходит оптимизация сайта (SEO)?
Как происходит оптимизация сайта (SEO)? Есть 2 способа оптимизации сайта: на странице и вне страницы. Разница между ними? По сути, мы можем сказать, что оптимизация на странице происходит на самом сайте, тогда как оптимизация на странице происходит вне его. И дополняют, и укрепляют стратегию в целом. На странице оптимизации SEO на странице являются реализациями на самом сайте. Эта оптимизация Каковы преимущества SEO или White Hat SEO?
Каковы преимущества SEO или White Hat SEO? White Hat SEO предлагает некоторые преимущества, такие как более низкая стоимость по сравнению с Black Hat SEO. У White Hat SEO есть и этические причины, так как большинство владельцев веб-сайтов хотят обосновать свое размещение на страницах результатов поиска ( SERP ) для пользователей. Еще одним преимуществом является то, что веб-сайты защищены от штрафов, например, после обновления Google . Место Как SEO консультант может помочь с вашим контентом?
Как SEO консультант может помочь с вашим контентом? 5 (100%) 1 голос Почему важна поисковая оптимизация (SEO)?
Почему важна поисковая оптимизация (SEO)? Буквально миллиарды поисковых запросов, проводимых каждый месяц, по сути, становятся нашими воротами в Интернет. Почему еще один плагин для WordPress SEO?
Почему еще один плагин для WordPress SEO? Плагины WordPress SEO, такие как Yoast SEO или All in One SEO Pack, предоставляют некоторые важные функции и настройки для поисковой оптимизации, такие как предложения по оптимизации SEO, добавление SEO ключевые слова , создание мета-тегов или различные
Txt?
Xml Пользовательский агент: * Disallow: / cgi-bin / Disallow: / wp-admin / Disallow: / wp-includes / Disallow: / архивы / Disallow: *?
De/unternehmen/whitepaper/"> Вы создали новый сайт с WordPress?
Но как вы можете достичь желаемого количества посетителей на вашем сайте?
Термин SEO (поисковая оптимизация) повсеместно, но что это значит и что это значит для веб-сайтов?
Как это работает и какова его функция?
Как вы думаете, сложно сделать SEO в блоге WordPress?
Хотели бы вы рассказать о своем опыте в первых шагах в SEO?
Вам понравился этот пост?
Так что же такое поисковая оптимизация (SEO)?