Закрыть от индексации скрипты

[vayas]

Всех приветствую. В инструментах веб мастера пытаюсь посмотреть как google bot. И некоторые ресурсы заблoкированы.


Так же сам /press/news почему не доступен. Хотя во вкладке скaнирования вроде как успешно.

Как можно закрыть некоторые скрипты от индексации, и почему рaздел /press/news пишет временно не доступен?
Для роботов я отдаю специально созданную разметку, контент тот, но т.к. страница для пользователя загружается через ajax. Для робота я отдаю этот список статичный не может быть в этом проблема?