2014年9月1日

nutch http file 截断问题

摘要: 问题:列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。解决方案:这里将这个属性扩大10倍。vim conf/nutch-defalut.xml 修改http.content.limit属性,将其由65536 改为 655360 ht... 阅读全文

posted @ 2014-09-01 12:44 雨渐渐 阅读(238) 评论(0) 推荐(0) 编辑

导航