2015年1月13日
社会化海量数据采集爬虫框架搭建
摘要： 随着BIG DATA大数据概念逐渐升温，如何搭建一个能够采集海量数据的架构体系摆在大家眼前。如何能够做到所见即所得的无阻拦式采集、如何快速把不规则页面结构化并存储、如何满足越来越多的数据采集还要在有限时间内采集。这篇文章结合我们自身项目经验谈一下。我们来看一下作为人是怎么获取网页数据的呢？1、打开浏... 阅读全文
posted @ 2015-01-13 15:28 蜗牛之履 阅读(326) 评论(0) 推荐(0) 编辑