Intellij idea开发Hadoop MapReduce程序
2016-08-26 15:35 猎手家园 阅读(20239) 评论(0) 编辑 收藏 举报1、首先下载一个Hadoop包,仅Hadoop即可。
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
2、打开Idea新建一个java项目。
3、项目配置 File ---- Project Structure
(1)首先注意SDK的配置
(2)加入Hadoop的jar包依赖
(3)打包配置
4、开发map-reduce代码
根据自己需求写代码,下面附代码样本。
(1)mapper代码:
(2)reduce代码片断:
(3)run/main代码:
5、配置编译器
右上角:
注意:第三个框里只需添入输入路径和输出路径即可
6、将数据导入到你的程序中
注意:不要创建output目录,系统会自动创建。否则会报目录已存在的错。
7、运行
(1)运行成功:
(2)查看结果
欢迎关注我的公众号:云栖语,不一样的研发视界。
云栖语微信公众号:change-1978