网页更新策略

    互联网的动态是其显著特征，随时都有新出现的页面，页面的内容被更改或者本来存在的页面删除。对于爬虫来说，并非将网页抓取到本地就算完成任务，也要体现出互联网这种动态性。本地下载的网页可被看做是互联网页的镜像，爬虫要尽可能保证其一致性。常用的网页更新策略有三种：历史参考策略，用户体验度策略和聚类抽样策略。长春网络公司做一下简单介绍：

    （1）什么是历史参考策略？
    历史参考策略是最直观的一种更新策略，它建立于如下假设之上：过去频繁更新的网页，那么将来也会频繁更新，所以为了预估某个网页何时进行更新，可以通过参考其历史更新情况来做出决定。
从这一点可以看出，我们网站的更新一定要有规律的进行，这样才能让搜索引擎蜘蛛更好的来关注你的网站，把握你的网站，很多人在更新网站的时候，不知道为什么要做规律性的更新，这就是真正存在的原因。
    （2）什么是用户体验度策略？
    这个很明显，大家都知道。一般来说，搜索引擎用户提交查询结果后，相关的搜索结果可能成千上万，而用户没有耐心去查看排在后面的搜索结果，往往只盾前三页搜索内容，用户体验策略就是利用搜索引擎用户的这个特点来设计更新策略的。
    （3）聚类抽样策略
    上面介绍的两种网页更新策略严重依赖网页的历史更新信息，因为这是能够进行后续计算的基础。但在现实中为每个网页保存历史信息，搜索系统会增加 额外的负担。从另外一个角度考虑，如果是首次爬取的网页，因为没有历史信息，所以也就无法按照这两种思路去预估其更新周期，聚类抽样，策略即是为了解决上述缺点而提出的。网页一般具有一些属性，根据这些属性可以预测其更新周期，具有相信属性的网页，其更新周期也是类似的。

长春网络公司    www.afd2010.com