Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....

 

Закрытие сайта от роботов - парсеров

Автор Noconnect, 20-06-2017, 15:10:24

« назад - далее »

NoconnectTopic starter

Кто подскажет, как закрыть сайт от роботов разных сервисов анализа и прочих парсеров? Поставить всё в Disallow и открыть только в robots для нужных мне ПС?
  •  


Coder

Цитата: Noconnect от 20-06-2017, 15:10:24Поставить всё в Disallow и открыть только в robots для нужных мне ПС?
Можно так, а можно поставить скрипт, определяющий чрезмерную активность непрописанных явно роботов - грузят они и "нагло" ведут, как правило - тогда автобан по ip.



vold57

Не думаю, что "прочие парсеры" будут обращать внимание на Disallow в роботсе.

alexburn

Цитата: vold57 от 21-06-2017, 13:15:37Не думаю, что "прочие парсеры" будут обращать внимание на Disallow в роботсе.
Как правило парсеры вообще не смотрят на robots  :-X

Coder

Цитата: alexburn от 21-06-2017, 13:53:56Как правило парсеры вообще не смотрят
Народ, ну что вы придираетесь - не помешает поставить? - не помешает, + еще что.



NoconnectTopic starter

А директив никаких нет на этот случай, на подобии nofollow или ещё что то для ограничения парсеров?
  •  

alexburn

Цитата: Noconnect от 26-06-2017, 03:43:03А директив никаких нет на этот случай, на подобии nofollow или ещё что то для ограничения парсеров?
Для парсера одно ограничение - по IP или заголовкам, и все.

ВикторияИ

Цитата: alexburn от 26-06-2017, 08:57:18Для парсера одно ограничение - по IP или заголовкам, и все.

а по заголовкам это как?


alexburn

Цитата: ВикторияИ от 26-06-2017, 09:40:06а по заголовкам это как?
Блокировать "не стандартные" заголовки. Начинающие кодеры иногда "забывают" переделывать заголовок - Agent и там иногда пишется всякая другая информация, а не инфа о браузере.





Если вам нравится SbUP Форум, вы можете поддержать его - BTC: bc1qppjcl3c2cyjazy6lepmrv3fh6ke9mxs7zpfky0 , TRC20 и ещё....