2014年9月6日

nutch 生产者队列的大小如何控制 threadcount * 50

摘要: 如果topN 设置为1000万 ,不会这1000万都放到QueueFeeder(内存)中,而是从文件系统中(hdfs)中迭代不断填充QueueFeeder。队列中默认存放 threadcount * 50 。 这个类的作用是从文件系统读文件填充队列。/** * This class fee... 阅读全文

posted @ 2014-09-06 01:37 雨渐渐 阅读(313) 评论(0) 推荐(0) 编辑

导航