摘要：
Heritrix3.X与1.X版本变化比较大，基于此带来的Extractor定向扩展方法也受到影响，自定义扩展方面因为接口的变化受阻，从而萌生了通用网络信息采集器设计的想法。一直没有一个好的网络信息采集器，必须能够适应下载对象的多样性和下载内容的复杂性。比如需要同时下载100多家主流媒体的新闻信息，并解析入库等。本文围绕通用网络信息采集器的设计展开。 阅读全文
Hadoop develop博学笃志，切问近思，此八字，是收放心的工夫。 神闲气静，智深勇沉，此八字，是干大事的本领。 |