北京SEO

　　图3：爬虫停留时间

　　得到了这两个数据以后，用所有爬虫总的停留时间除以单个页面的停留时间，就是搜索引擎爬虫这天所抓取的页面总量。

　　721小时×3600秒÷35秒=74160页

　　那么得到这个搜索引擎爬虫这天所抓取的页面总量有什么用呢?

　　seo优化:网站加载速度影响seo效果！网站seo是什么意思，对于一般的小网站来说，一天能被抓取74160页是一个很不错数据。但是我上面给出的是一个中型网站，它整个网站的页面总量有800多万有seo价值的页面。那么，在最理想的情况下，这些页面被搜索引擎抓取完要花费的时间为：

　　800万÷74160页=108天

　　网站seo是什么意思这是理论上最理想的情况，实际上真实的情况为：

　　由于有多个爬虫在抓取网站，有很多的页面在一天之内是会被爬虫重复抓取的。有的页面一天之内被抓取20多次，有的页面一天之内只被抓取1次。通过“停留总时间÷单个页面停留时间”得到的页面数量，是没有去除那些重复抓取的页面的。所以搜索引擎一天之内实际抓取的不重复页面没有74160页那么多，而是40000页的样子。还有一点，爬虫今天抓取的页面，到了明天还有很多会被重复抓取。所以爬虫不光在同一天内会重复抓取很多页面，而且到了下一天还是会重复抓取前一天抓取过的很多页面。

　　这样下来，爬虫平均每天抓取不重复的页面数量就只有10000页的样子了。那么，要爬虫把这个网站所有的页面抓取完需要的时间为：

　　800万÷1万页=800天

　　其实，这个800天抓取完整个网站还是太理想化了。实际的情况是很多网站由于结构的原因，有些网页创建后4-5年，都还没被爬虫抓取过。

　　上面的这个分析过程，都没用到什么惊天动地的计算方法。只要你有一点数据分析的意识，就能看清楚事实的。当一个网站收录量不理想，大家就应该去看看那些页面是不是被搜索引擎爬虫浏览过。如果一个页面都没有被搜索引擎爬虫浏览过，是不可能会被收录的。一个网站的收录量没有上去，那seo流量的提升就会有很大的一个瓶颈。

　　根据我们刚才上面的那个分析过程，要提升网站的收录量，首先要解决的就是搜索引擎每天抓取网站的抓取量。而：

　　抓取量=爬虫总的停留时间÷单个页面的停留时间

　　一个网站，爬虫总的停留时间在某个期间是保持相对固定的。当然，有方法提高爬虫总的停留时间，不过这不是这篇文章要讲的内容。我们先通过减少个页面的停留时间也可以增加爬虫的抓取量。

　　减少爬虫单个页面的停留时间，可以简单的认为提高网页加载速度就可以了，虽然实际上这两个因素之间还存在着一个对应关系，但是这里先不讲。这个时候，网页的加载速度就和抓取量之间有了一个正比的关系，网页加载速度越快，爬虫整个的抓取量就越大。抓取量越大，有效收录量就会增加，从而促使seo流量增加，因为给一个大中型网站带来流量的，90%以上都是长尾词。大中型网站，有时甚至是小网站，只要收录量增加一定的百分比，seo流量也会增加一定的百分比。网页的加载速度，就和seo流量之间建立了一个这样的关系。

　　其实，google也知道网页速度和seo流量之间的关系，所以早在“网站性能”这个功能推出以前，就推出了另一个功能让大家去用，那个功能就是“google网站管理员工具”里的“抓取统计信息”。那里把爬虫对你网站的抓取量，和你网页下载的平均时间都列了出来。

　　如果大家平常注意观察这里面的数据就会发现这样的规律：一旦网站下载时间减少了，那抓取量就会增大一点。

　　一般小网站，这样的规律还不是太明显。因为有其他影响这个规律的因素存在，而且小网站页面数太少了，爬虫随便多增加几百页的抓取量就影响了50%以上的抓取量。但是在大中型网站，这个规律是非常明显的。如：