MRUNIT- unittest(hadoop)

  • keyword: JUnit4.x Mock MRprogramming

为了使用MRUnit,我们需要将hadoop-version-mrunit.jar和Junit4.x使用的jar包:junit.jar都添加到我们开发Hadoop程序项目的classpath中。

1. 测试Map,我们可以使用MapDriver。
2. 测试Reduce,我们可以使用ReduceDriver。
3. 测试一个完整的MapReduce,我们可以使用MapReduceDriver。
4. 测试多个MapReduce组合而成的操作,我们可以使用PipelineMapReduceDriver。

  • 局限

1. 不支持MapReduce框架中的分区和排序操作:从Map输出的值经过shuffle处理后直接就导入Reduce中了。
2. 不支持Streaming实现的MapReduce操作。

 

posted on 2017-09-22 23:52  satyrs  阅读(114)  评论(0编辑  收藏  举报

导航