Intellij idea开发Hadoop MapReduce程序
2016-08-26 15:35 猎手家园 阅读(20258) 评论(0) 编辑 收藏 举报1、首先下载一个Hadoop包,仅Hadoop即可。
http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
2、打开Idea新建一个java项目。
3、项目配置 File ---- Project Structure
(1)首先注意SDK的配置
(2)加入Hadoop的jar包依赖
(3)打包配置
4、开发map-reduce代码
根据自己需求写代码,下面附代码样本。
(1)mapper代码:
(2)reduce代码片断:
(3)run/main代码:
5、配置编译器
右上角:
注意:第三个框里只需添入输入路径和输出路径即可
6、将数据导入到你的程序中
注意:不要创建output目录,系统会自动创建。否则会报目录已存在的错。
7、运行
(1)运行成功:
(2)查看结果
欢迎关注我的公众号:云栖语,不一样的研发视界。

云栖语微信公众号:change-1978
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 10年+ .NET Coder 心语,封装的思维:从隐藏、稳定开始理解其本质意义
· .NET Core 中如何实现缓存的预热?
· 从 HTTP 原因短语缺失研究 HTTP/2 和 HTTP/3 的设计差异
· AI与.NET技术实操系列:向量存储与相似性搜索在 .NET 中的实现
· 基于Microsoft.Extensions.AI核心库实现RAG应用
· 阿里巴巴 QwQ-32B真的超越了 DeepSeek R-1吗?
· 10年+ .NET Coder 心语 ── 封装的思维:从隐藏、稳定开始理解其本质意义
· 【设计模式】告别冗长if-else语句:使用策略模式优化代码结构
· 字符编码:从基础到乱码解决
· 提示词工程——AI应用必不可少的技术