1.配置独立操作
独立操作默认情况下,Hadoop被配置为以非分布式模式作为单个java进程运行,这个对调式很有用;
下面的实例复制要用作输入的未打包conf目录,然后查找并显示给定正则表达式的每个匹配项。输出被写入给定的输出目录;
1.1 创建一个文件夹名为input
mkdir input //在hadoop的bin目录下创建一个input文件夹
1.2 将Hadoop的XML配置文件复制到input
cp etc/hadoop/*.xml input
1.3 执行share目录下的MapReduce程序(执行)
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar grep input output 'dfs[a-z.]+'
1.4 查看输出结果
cat output/*
2.WordCount案例
2.1 在hadoop目录下创建一个文件夹名为wcinput
mkdir wcinput
2.2 在wcinput文件夹里创建一个wc.input文件并编译
cd wcinput
touch wc.input
vim wc.input
编译内容如下:
2.3 返回/opt/module/hadoop 目录下
2.4 执行程序
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.0.jar wordcount wcinput wcoutput
2.5 查看结果
cat wcoutput/*
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 《HelloGitHub》第 106 期
· 数据库服务器 SQL Server 版本升级公告
· 深入理解Mybatis分库分表执行原理
· 使用 Dify + LLM 构建精确任务处理应用