О Robots.txt

[Алексей Лачков]

Доброго времени суток!!!

Хотелось бы узнать по больше о robots.txt

А именно хотелось бы уточнить, может ли отрицательно сказаться больше количество Disallow в этом файле ( к примеру на 1700 страниц 100-200 из них будут закрыты от индексации.)

И еще я делаю sitemap.xml через онлайн генератор и туда попадают ссылки закрытые от индексации в robots.txt . Стоит ли их оттуда убирать или можно так оставить? в серч консоли гугла вроде ругается на ошибки sitemap.xml

[davidExl]

О robots.txt, все равно сколько там Disallow, главное помнить что согласно хелпу яндекса файл не должен превышать в объеме 32 Кб.
пруф - https://yandex.ru/support/webmaster/controlling-robot/robots-txt.xml
При формировании файла robots.txt необходимо помнить, что у робота есть разумное ограничение на его размер. Если размер файла превышает 32 Кб, робот считает его полностью разрешающим, то есть рассматриваются аналогично:
User-agent: Yandex
Disallow:

На счет сайтмап - этот файл для поисковых систем носит рекомендательный характер. Скорее всего навредить данные ошибки не могут, но если вы перфекционист, то да, потрудитесь это исправить. Я пробовал исправлять, сложно сказать что это сказалось на чем-то, но мне нравиться когда нет ошибок)))
Также стоит помнить что гугл ценит когда вы экономите его ресурсы, так называемый "краулинговый бюджет". Я думаю стоит править эти ошибки.

[Алексей Лачков]

Спасибо за быстрый и понятный ответ!!!
Добавлено: 09-12-2015, 08:29:42

Еще кое что хотел уточнить. Вот допустим у меня фoтоальбом доступен по ссылкам:
/ru/gallery/10
/en/gallery/10
/gallery/10
/fr/gallery/10 

И я закрыл от индексации все эти ссылки. У движка есть функция вывода группы фoток в другой страничке, допустим site.ru/about.html и там выводятся фoтоки с ссылками images/gallery/7080.jpg

Будут ли они индексироваться на страничке site/about.html

[davidExl]

Думаю это зависит от метода реализации функции, а уникальные фотки, вы хотите ранжироваться по картинкам?
В любом случае, посмотрите в сеарч консоль гугл функцию "посмотреть как GoogleBot" , это в разделе скaнирования.

[Алексей Лачков]

Фотки уникальные 100% и сайт о туризме я думаю ранжирование по картинкам это важно. Вот для наглядности пример с сайта:

http://openuzbekistan.com/gallery/105 - это альбом

http://openuzbekistan.com/ru/hotels/Samarkand-Hotels/Emir_Xan_Hotel а вот где он вставляется

Движок кривой с этим не поспорю) но хотелось бы сократить количество дублей:)

Добавлено: 09-12-2015, 09:58:11

Upd: Сейчас думал как решить и вроде нашел ответ, но нужна подсказка верный ли способ и как это правильно реализовать.

Я считаю, что легче всего будет запретить всем ботам кроме ботов которые индексируют изображения гулять по папкам /gallery/*

Нужна подсказка как именно прописать это в robots.txt

[mikhaylovna]

Вебмастер гугл и яндекс в помощь. Смотрите чтоб там не было ошибок в индексировании. Если все ок, то и роботс в порядке. А вот если имеются сообщения, то возможно чего-то лишнего запретили
Добавлено: 09-12-2015, 13:18:03

Спасибо за быстрый и понятный ответ!!!
Добавлено: 09-12-2015, 08:29:42

Еще кое что хотел уточнить. Вот допустим у меня фoтоальбом доступен по ссылкам:
/ru/gallery/10
/en/gallery/10
/gallery/10
/fr/gallery/10 

И я закрыл от индексации все эти ссылки. У движка есть функция вывода группы фoток в другой страничке, допустим site.ru/about.html и там выводятся фoтоки с ссылками images/gallery/7080.jpg

Будут ли они индексироваться на страничке site/about.html

Т.е. у тебя альбом один, а доступен по разным урлам в зависимости от пути перехода пользователя? Если так, тогда по идее это надо это в настройках админки поправить. Ну и еще canonical прописать можно в коде

[Алексей Лачков]

Тут еще такой тонкий момент, отель доступен например на трех языках и вот фотки у него одинаковые... Вообщем первоначально задачей было закрыть дубли избегая вмешательства программистов ( так как скорость работы у них очень медленная, движок делали они и поэтому к другим обращаться похоже не получится ) путем закрытия дубля /gallery/10 ( там только фотки отеля допустим! ) а вот на самой статье отеля идет уже текст описания и прикручивается галерея. Самое главное, что я хочу узнать это после закрытия от индексации каталога /gallery будут ли индексироваться изображения расположение в другом каталоге, т.е изображение выводятся в другую статью , но находятся они в том же каталоге который вначале я закрыл от индексации: /gallery/images/img.jpg

[mikhaylovna]

Если ты в роботсе прописал Disallow: /gallery  - то индексироваться не будет. Для уверенности зайди в гугл вебмастер, там можно проверить доступность урла или файла (вводишь адрес) поисковикам. Если будет проблема - вебмастер покажет какая строка в роботсе мешает