Безумный SEO: блокирование Robots.txt от индексации

Забавная нить происходила в WebmasterWorld обсуждаем способ запрета Google ранжировать файл Robots.txt в поисковой выдаче.

Google в настоящее время индексирует 62 100 файлов robots.txt , Многие из них имеют хороший PR, а другие вообще не имеют обратных ссылок (по крайней мере, согласно Yahoo Site Explorer):

txt   ,  Многие из них имеют хороший PR, а другие вообще не имеют обратных ссылок (по крайней мере, согласно Yahoo Site Explorer):


Ирония заключается в том, что:

  • вы не можете использовать robots.txt, чтобы заблокировать robots.txt (это действительно безумие, так как в этом случае поисковая система не сможет сканировать файл robots.txt и, следовательно, выяснить, что она не может этого сделать);
  • вы не можете использовать метатеги в файле robots.txt ;
  • вы не можете удалить файл с помощью Инструментов Google для веб-мастеров, потому что для этого вам нужно либо заблокировать его в robots.txt, либо использовать метатеги (вы не можете этого сделать), либо вернуть заголовок 404, что также невозможно (потому что он действительно существует) ,

По словам участника форума:

В любом случае, это поднимает безумный вопрос, как вы можете удалить файл robots.txt из индекса Google? Если вы используете robots.txt для его блокировки, это означает, что googlebot не должен даже запрашивать robots.txt - безумный цикл. И, конечно, вы не используете метатеги в файле robots.txt.

Интересно, не правда ли?

Другой член правления предложил использовать X-Robots-Tag в заголовке HTTP:

<FilesMatch «роботы \ .txt»>
Набор заголовков X-Robots-Tag «noindex, nofollow»
</ FilesMatch>

Решение выглядит довольно хорошо, и это также хорошо, что SEO начали, наконец, видеть значение в X-Robots-Tag, который используется смутно.

Другой вопрос: почему на Земле вам нужно заблокировать индексирование и ранжирование файла robots.txt (гораздо более простым решением будет полное удаление файла). Но это совсем не важно в этом случае. Правда остается той же: веб-мастера должны иметь и знать о способах скрытия любой из своих страниц от поисковых роботов или предотвращения ее появления в поисковой выдаче.

Txt из индекса Google?
Интересно, не правда ли?