nutch http file 截断问题
摘要:
问题:列表页预计抽取 355+6 但实际只抽取到220条链接. 原因是nutch对http下载的内容的长度进行了限制。解决方案:这里将这个属性扩大10倍。vim conf/nutch-defalut.xml 修改http.content.limit属性,将其由65536 改为 655360 ht... 阅读全文
posted @ 2014-09-01 12:44 雨渐渐 阅读(238) 评论(0) 推荐(0) 编辑