Правильно ли составлен robots.txt?

[AlexPiv]

Всем привет! Посмотрите, пожалуйста, robots! Правильно ли он составлен? Я добавил его около 2-ух недель назад на сайт, а ссылки из гугла так и не вылетели! В гугле просто у меня есть ссылки типа: материалы за 1999 год и т.д! Вот их я пытаюсь закрыть.

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /tags/
Disallow: /page/
Disallow: */page/*
Disallow: /language/
Disallow: /templates/
Disallow: /upgrade/
Disallow: /backup/
Disallow: /admin.php
Disallow: /engine/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /pravoobladatelyam.html
Disallow: /2014/
Disallow: /1996/
Disallow: /1997/
Disallow: /1998/
Disallow: /1999/
Disallow: /2000/
Disallow: /2001/
Disallow: /2002/
Disallow: /2003/
Disallow: /2004/
Disallow: /2005/
Disallow: /2006/
Disallow: /2007/
Disallow: /2008/
Disallow: /2009/
Disallow: /2010/
Disallow: /2011/
Disallow: /2012/
Disallow: /2013/
Host: название_сайта
Sitemap: http://название_сайта/sitemap.xml

[KaZaK]

Хмм...А не лучше ли просто взять и полностью закрыть на время сайт от индексации поисковиком??

User-agent: Googlebot
Disallow: /
User-agent: Yandex
Allow: /
Disallow: /admin.php  ну и так далее
То есть мы прописываем только для гугла запрещающую строку а для всех остальных поисковых систем открываем, создаете правильный роботс и будет счастье но через время

[DenPavlov]

Да, ваш файл robots.txt выглядит правильно. Он содержит правила для поисковых роботов о том, какие страницы должны быть проигнорированы при индексации. У вас также есть ссылка на sitemap.xml, что позволяет поисковым роботам лучше понять структуру вашего сайта.

Если вы добавили файл robots.txt около двух недель назад, убедитесь, что он доступен по адресу http://название_сайта/robots.txt и не имеет ошибок. Также помните, что поисковым роботам может потребоваться некоторое время, чтобы обработать новые правила в файле robots.txt и изменить индексацию вашего сайта.

Что касается ссылок в Google, помните, что Google сам решает, какие страницы индексировать и как часто обновлять индекс. Обычно он предпочитает индексировать страницы с высоким качеством контента и хорошей структурой сайта. Если вы хотите закрыть определенные страницы от индексации, вы можете использовать правила в файле robots.txt, как вы уже сделали, или использовать метатеги noindex в HTML коде страниц.