首先先谈下GOOGLE蜘蛛起源:
当GOOGLE搜索引擎刚建立之初,就拥有这一个非常强大的的服务器,其每天放出大量的蜘蛛,我们称为1号蜘蛛,其抓取量抓取速度是非常的快
, 对其整个互联网每天进行信息进行的采集,可见服务器的速度是多少快,其实最主要的是后期GOOG
将服务器延伸到了很多城市,所以现在你能发现GOOGLE的运算速率是超前的快.
服务器将采集的信息分类,整理.到庞大的数据库.
其中有个数据库都是用来存网站域名的.
域名只要被搜索引擎索引到,将自动存入此数据库.
此数据库是1号蜘蛛的核心.
其内部分为10个PR各等级的小数据库,虽说小数据库,但也是大的可怕-。=!
10个等级的数据库 其周期也不同
基本上以一个PR=4的网站来讲 1号蜘蛛爬行的概率也在7天一次.
所以基本你也会发现收录有大的幅度也是在7天内的某一天 .
细心的站长会发现其实有时候7天还是蛮准的,但只针对PR=4 ,越是PR高其周期越是短,越是PR低周期越长, 当然说到这很多站长有这样的疑惑
会觉得蜘蛛有时天天收录他的站
这里对其收录的也就是接下来要说的2号蜘蛛
2号蜘蛛往往是在1号蜘蛛爬行过程中放出去的,主要针对于被1号蜘蛛爬过的网站的外部链接.
PS既然都说是2号蜘蛛 肯定其抓取力度要比1号小很多
当然不只是有2号,还有3号蜘蛛
所谓3号也就 A站1号蜘蛛爬行到B站,B站的2号蜘蛛爬行到C站