подскажите как правильно настроить Файл Robots.txt

[teplovizion]

подскажите  как  правильно  настроить  Файл Robots.txt


Сейчас  по  факту
User-agent: *
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

Host: www.teplovizion.by
Sitemap: http://www.teplovizion.by/sitemap.xml

Закрыты от индексации фoтографии. Как  снять запрет на папку «uploads»???

[vold57]

Пропишите Allow: /wp-content/uploads/ в общем блоке User-agent: *.

[Coder]

как  правильно  настроить  Файл Robots.txt

Файл robots.txt: правильный пример на WordPress для Яндекса и Google _http://wpnew.ru/raskrutka-bloga/seo_optimizaciya/fajl-robots-txt-pravilnyj-primer-na-wordpress-dlya-yandeksa.html

[Seorator]

Я смотрю прямо распространенная проблема с этим Robots.txt.
Хоть пиши ликбез.

Краткая инструкция:
* - любые символы.
User-agent: * - для любого бота (либо пишем имя бота), список имен можно взять у Деваки https://devaka.ru/articles/list-of-search-bots
Allow: - открыть для индексации (далее пишем путь без имени домена и начиная со слеша)
Disallow: - закрыть для индексации (звездочкка - любые символы)
Host: www.имя_домена (указываем основное зеркало с  www или без  www, можно указать другой домен)
Sitemap: http://www.имя_домена/sitemap.xml

Больше там ничего вам мудрить не нужно.

Примеры.

Нужно закрыть от индексации:
1. админку
2. форму авторизации
3. страницу регистрации


Делаем примерно так:
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php

Но можно и проще:
Disallow: /wp-*

Нужно закрыть от идексации:

1. Лишние теги

Disallow: */author
Disallow: */trackback/
Disallow: */page/*
Disallow: */tag/*

2. Ленту (чтобы не было дублей текста)

Disallow: */feed

Не нужно мудрить:
Disallow: */feed                                           
Disallow: /feed/
Disallow: /?feed=
Disallow: */*/feed
Disallow: */*/feed/*/
Вы же понимаете, что данные "универсальные инструкции" пишут сео-блогеры «чайники» для таких же «чайников»? А если понимаете, что это абсурд, то просто посмотрите путь к вашему фиду и оставьте одну инструкцию.
А путь у вас (если не мудрили): http://имя_домена/feed  Значит, инструкции Disallow: */feed  вполне достаточно.

3. Поиск по сайту
Disallow: *?s=*
Disallow: /*search*

4. Служебные страницы:
Disallow: /xmlrpc.php

5. Определенную страницу (указываем путь к странице)
Disallow: /рубрика/раздел/страница

Если нужно открыть для индексации (например папку загрузки)
Allow: /wp-content/uploads/

[Alina T]

Доброе время суток! Вопрос по теме. У меня на вебмастере вот такое сообщение:"Для корректного определения главного зеркала сайта рекомендуется задать соответствующую директиву Host в файлах robots.txt всех зеркал сайта. В случае ее отсутствия главное зеркало может быть выбрано автоматически" Как вы думаете, что лучше, подождать или создать???

[zanuda]

У вас автоматом перекидывает на без www, так что должно быть нормально. Но ели хостер грозится, то пропишите дирктиву...

[Alina T]

Он особо не грозится. Сообщение в "Возможные проблемы". Так, что наверное, лучше подождать, чем накосячить???

[vold57]

Alina T, в индексе Яндекса и Гугла с вашего сайта страницы без www.
Насчет хостера не понял, что значит не особо грозится? То есть все таки грозится? Чем? 

[Alina T]

vold57, это плохо??? Вы советуете это срочно исправить? Если так то буду стараться, хоть и очень хочется, в первую очередь, заняться "сонником". Как я уже говорила я в таких вопросах мало, что понимаю, и в основном, пользуюсь методом научного тыка. Я  просто попробовала сделать сайт и это увлекло. Теперь хочется создать что то по настоящему стоящее.

[vold57]

vold57, это плохо??? Вы советуете это срочно исправить?

Это неплохо. В индексе и должна быть одна версия сайта - либо с www, либо без. Это к тому, что ПС уже выбрали главное зеркало. Ну вы еще подтвердите в robots.txt
Host: um22.ru

В search console Гугла тоже укажите на главное зеркало. Ну это если у вас есть аккаунт.)))