现在,很多企业都会对为什么搜索引擎没有索引他们网站的所有页面而感到焦躁.按照惯例,他们似乎没有1个确定的答案.但是有些事情是一定的,如果不是自动的,那么有些事情是完全靠猜测的.
所以,我们为了增加谷歌索引页面的数量和得到关于谷歌的最新猜测而逛论坛、博客和谷歌的知道方针.不断的一致意见是站长们不要幻想所有的页面被爬行并且索引,但是,有很多方法增加索引页面的数量.
提供给谷歌bot爬行的路径.来自于高PR值网站的链接（尤其是深度链接）被视为黄金链接是已经确定的.
内部链接也有很大的帮助.从网站的首页链接到重要页面.内容页面链接到其它相关的内容页面.
站点地图
关于站点地图有很多传言.有些报道说1个清晰的、井然有序的站点地图会帮助搜索引擎索引他们所有的页面.谷歌站长指导方针也推荐提交站点地图文件（1下是引用的原文）：
告诉我们你所有的页面通过提交站点地图文件；让我们知道哪个网页对你来说最重要和更新的频率.有些人建议为每个类别或者网站的每个部分创建站点地图.那个页面对于改进爬行缺陷还有一些其它的建议,如修补为例和确认robots.txt文件.
它非常依赖PR值.你的网站的PR值越高被索引的页面也就越多.你的所有的页面的PR值并不是一样的.每个页面都有它自己的PR值.Pr值越高,谷歌bot爬行的频率也就越快.这也得到了Matt cutts 确认,Pr值越高就意味着深度爬行.
速度
O’Reilly 最新的1项报告指出,页面加载时间和谷歌bot爬行网页速度的减弱都会影响网页索引的的数量.这个逻辑就是谷歌bot爬行的越快,网站页面被索引的数量也就越多.
这个可能包含着结构的简单化或者是站点的导航.蜘蛛程序索引Flash和Ajax存在问题.在这种情况下应该加1个文本说明.
错乱发布
1次性发布许多网页对搜索引擎来说是发布一种作弊信号.在1个论坛,站长每个星期发布的文章最多不能超过5000个页面.
检验
利用谷歌的站长工具检验你的网站.
谷歌爬行缓存服务器
Matt Cutts在他的博客中用图表说明了谷歌怎样爬行缓存服务器.这是使搜索引擎更快的Big Daddy更新的一部分.三个索引中的任何1个都可能爬行你的网站并把网站的信息发送到远端服务器,由其余的索引保存而不是蜘蛛程序物理性的爬行你的网站.他们全部都是使用镜像.
内容为王
确保内容的原创性.如果是完全的抄袭其它的页面,谷歌bot会直接跳过.经常更新,这会保持内容的新鲜性.带有过时站点地图的网页会被当作静态的、过时的和已经被索引的处理.