Анализирование посещений, поведений поисковых ботов.

[Rod]

При создании одного из проектов мне пришла в голову "идея" легировать посещение сайта поисковыми ботами..(изначально я это сделал чтобы видеть по каким УРЛам бот скaнирует сайт. Сайт переделывался УРЛы поменялись, отслеживал нормально ли все с редиректами.)

После написания небольшого скрипта мне открылась довольно интересная картина.
*Я конечно упускаю в данной теме как я делал скрип (так как это был довольно долгий процесс отсева ботов от людей и тд)
Я записывал посещения ботов (google, yandex, bing, Yahoo)в таблицу базы MySQL.
Оказалось что сайт просто кешит ботами )) особенно после того как твитнеш какую нибудь страничку. (куча всяких разных ботов просто жесть, очень много таких которые джумолу, вордпрес ищут видимо для взлома )))
И так стало видно такую статистику как например Яндексу нужно посетить 5 - 10 рас страницу прежде чем она попадает в индекс Гуглу одного обычно достаточно.
Или так Гугл гораздо чаще посещает сайт чем яндекс.

И так я сделал статистику каждой страницы на сайте сколько раз посещал ее бот и среднею периодичность посещения.   

Я например теперь вижу на каких страницах сайта ботов не было, значит не индексировали.. (твитаю чтобы попали в индекс ну и тп).

Еще бывает бот приходит по УРЛу которого нет на сайте не совсем понимаю почему так происходит но бывает.

У кого нить был опыт в подобных анализах?

[eashla]

Опыта не было, но вы мне дали пищу для размышления. Если это развить, то можно проводить анализ и оценку тех или иных сео действия по отношению к странице (сайту).
Интересно послушать опыт остальных.