2009年12月20日
利用Http状态码检查网页内容是否更新
摘要： 在做网页抓取爬虫类的工具时，经常要对页面进行监控和解析，其中监控就是检查页面内容是否发生了更新。判断网页是否发生变化最直接的方法是设置页面的某一处为监控区域，每次都抓取该部分区域的内容，然后与本地保存的或最近一次抓取内容比较，如果有差异就表明网页发生了变化，才可以进行解析。这种方法比较稳妥，几乎可达到万无一失的效果。但是，这种方式在每次扫描时都要下载页面内容，并且要去截取监控区域的内容，最后还要进... 阅读全文
posted @ 2009-12-20 12:52 神八 阅读(4890) 评论(2) 推荐(1) 编辑