Как удалить страницу из индекса гугла?

CharaDaa · 08-12-2016, 17:09:57

Поставил мета тег ноиндекс, удалил из яндекса. а из гугла что-то не удаляется. уже недели 3 прошло.
удалял через сервис гугл вебмастера "удалить юрл".

Сам гугл пишет, что удалить из индекса статью нельзя, а только временно скрыть (на 90 дней). Как тогда удалить-то эти страницы?

Владимир75 · 08-12-2016, 22:42:58

На странице в коде напишите:<meta name="robots" content="noindex, nofollow" />, или второй вариант:[/size]в robots.txt Disallow: Ваша страница.

inkanus.gray · 09-12-2016, 06:09:46

Страница с текстом статьи должна быть доступна людям, но не должна быть доступна поисковым системам? Тогда есть три варианта. Первые два уже отметил Владимир75. Третий вариант — если на сайте есть авторизация, показывать статью только авторизованным пользователям, а анонимам показывать краткую страничку с кодом 403 (или 401, если сервер поддерживает HTTP-аутентификацию) и кратким сообщением, что для просмотра текста статьи нужно авторизоваться.

Если же статья удалена насовсем (т. е. не будет доступна никому), то при запросе данного URL возвращать код 404 или 410 и также добавить этот URL в директиву Disallow в robots.txt.

Надежда Хачатурова · 09-12-2016, 08:12:46

Цитата: CharaDaa от 08-12-2016, 17:09:57Как тогда удалить-то эти страницы?

Не очень понятно, что Вы хотите. Если страницы на сайте нет, а в выдаче есть, но Вы не хотите, чтобы ссылка показывалась, ничего делать не нужно. Боты получат ответ 404 и со временем уберут страницу из индекса. По крайней мере, в Гугле ботам нужно видеть собственными "глазами" 404 ошибку. Если noindex еще не убрали, сделайте это. Так страница гарантированно удалится из индекса. Запрещать сканировать в роботсе удаленный урл гуглеботам нельзя!

inkanus.gray · 09-12-2016, 09:07:43

Цитата: Надежда Хачатурова от 09-12-2016, 08:12:46Запрещать сканировать в роботсе удаленный урл гуглеботам нельзя!

А ведь действительно, на нескольких сайтах видел, как после добавления URL в robots.txt Гугл оставлял страницу в индексе, а в сниппете вместо описания выводил что-то вроде: «Описание этой страницы недоступно». Фактически robots.txt запрещал не присутствие в индексе, а только вывод описания. Но в том примере запрос возвращал код 200, так что к удалению это не имеет отношения.

Выходит, что для удаления из индекса возвращать код 404 обязательно.

Но как быть, если, например, нужно удалить не одну страницу, а целую пачку? Разве в этом случае robots.txt не ускоряет процесс?

CharaDaa · 09-12-2016, 09:19:01

Страница на сайте должна быть, она для людей, для поисковиков она не нужна, но попала в индекс.

Я поставил мета тег ноиндекс, добавил в "удаление юрл" в гугл вебмастере. Но сам же гугл пишет, что там только на 90 дней ссылка скрывается. Или когда уже добавил и стоит ноиндекс, в следующий раз робот просто её не будет добавлять в индекс? Или она опять восстaновиться?

Когда страница в индексе и ставишь disallow, то она там и остается только пишется, что "описание страницы не доступно из-за роботса". Такой вариант не годится.

Надежда Хачатурова · 09-12-2016, 09:30:06

Цитата: inkanus.gray от 09-12-2016, 09:07:43Но как быть, если, например, нужно удалить не одну страницу, а целую пачку? Разве в этом случае robots.txt не ускоряет процесс?

Директивами в роботсе мы запрещаем сканирование страниц, закрываем доступ к ним. К индексации это отношения не имеет. Боты могут загрузить весь сайт, а в индекс выложить часть. Чтобы бот мог понять, что страницы нет, повторюсь, он должен иметь доступ к адресу и получить код 404. А уж как скоро страницы уйдут из индекса, одному боту известно. Смотрите, что творится с посаженными при взломе страницах? Они могут годами висеть, если на них идут ссылки. Иногда именно для этого и генерируется страницы на взломанных сайтах. Тем более, такие страницы ставить в noindex нельзя. Иначе процесс исчезновения никога не кончится. Говорю все больше про гугл.

Добавлено: 09-12-2016, 09:31:12

CharaDaa, а про тег nofollow не думали? Кстати, не забудьте исключить Вашу страницу из сайтмап тоже.