摘要：
首先，在自己写的MR程序中通过org.apache.hadoop.mapreduce.Job来创建Job。配置好之后通过waitForCompletion方法来提交Job并打印MR执行过程的log。Hadoop版本是1.0.0。 public boolean waitForCompletion(boolean verbose) throws IOException, InterruptedException, ClassNotFoundException { if (state == JobState.DEFINE) { submit(); //一 } if (verbose) { jobC. 阅读全文
摘要：
org.apache.flume.sink.RollingFileSink 这个类比较简单。source的种类有两种：一种是PollableSource；另外一种是EventDrivenSource。前者“必须有它自己的callback机制，该机制用于捕获新数据并将数据存储到通道中”，后者“不是由其自身的线程驱动”。在自定义source时，前者必须要实现process方法，通过调用这个方法将event放入channel中；后者没有这个方法，可以自由发挥。sink不像source，只有一种sink，需要extends AbstractSink implements Configurable。s. 阅读全文