Вопрос по файлу robots.TXT

[serjiooliva]

Подскажите пожалуйста, если директива User-agent: * означает, что сайт открыт для всех поисковых систем, зачем тогда дублировать содержание (закрытые страницы) и дополнительно прописывать: User-agent: Yandex , User-agent: GoogleBot и так далее....

Зачем?

[alexburn]

Дублирование содержания и дополнительные указания для конкретных поисковых систем могут быть полезными в некоторых ситуациях. Например, если вы хотите предоставить разные версии контента для разных поисковых систем или определенных роботов индексации. Это может быть полезно для управления тем, каким образом поисковые системы индексируют и отображают ваш сайт в результатах поиска.

Однако, в большинстве случаев, использование директивы User-agent: * достаточно для того, чтобы открыть сайт для всех поисковых систем.

Если у вас есть конкретные цели или требования для индексации и отображения вашего сайта в поисковых системах, то дополнительные указания для конкретных поисковых систем могут быть полезными.

Например, вы можете хотеть ограничить доступ некоторых страниц только для определенных поисковых систем, чтобы скрыть конфиденциальную информацию или избежать индексации дублирующего контента. В таком случае, вы можете использовать дополнительные директивы для указания, какие поисковые системы имеют доступ к этим страницам.

Также, некоторые поисковые системы могут иметь свои собственные алгоритмы индексации и требования для оптимизации сайта. Если вы хотите оптимизировать свой сайт под конкретную поисковую систему, то указание соответствующих директив может быть полезным.

В целом, дополнительные указания для конкретных поисковых систем могут быть полезными, если у вас есть специфические требования или цели для индексации и отображения вашего сайта в поисковых системах. Однако, в большинстве случаев использование директивы User-agent: * будет достаточным для открытия сайта для всех поисковых систем.

Потому что для Яндекса нужно явно указывать инструкции, он это любит, да и в принципе, для каждой ПС можно указать - туда ходи, сюда не ходи.

[vold57]

User-agent: * не означает, что сайт открыт для всех систем. Это указывает на то, что ниже будут директивы, которые будут действовать для всех систем.

[nazyrov]

Интернет держится не только на Яндексе и Гугле, кроме них есть и другие поисковые системы, поэтому и директивы прописывают разные:

User-agent: Yandex - здесь обязательно прописывается Host, что не обязательно для других ПС.

User-agent: Googlebot - для гугл обязательно открываем доступ к CSS и js.

User-agent: * - ну а здесь прописываем стандартные правила для всех остальных роботов.

Пример правильного robots.txt для блога Wordpress:

Код Выделить Развернуть

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: */trackback
Disallow: */feed
Disallow: /*?
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Host: nazyrov.ru

User-agent: Googlebot
Allow: *.css
Allow: *.js
Allow: /wp-includes/*.js
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/cache
Disallow: */trackback
Disallow: */feed
Disallow: /author/
Disallow: /transfers.js
Disallow: /go.php
Disallow: /xmlrpc.php
Disallow: /*?
Sitemap: http://nazyrov.ru/sitemap.xml