Hadoop运行模式之本地模式(wordcount)
本地模式总结起来大概有以下几点:
- 单机运行,常用来演示,生产环境不适用
- 文件存储在操作系统的文件系统中而非Hadoop的HDFS中
1.安装JDK
https://www.cnblogs.com/fanqisoft/p/16949738.html
2.安装Hadoop
https://www.cnblogs.com/fanqisoft/p/17857272.html
3.搭建Hadoop本地模式
1.在Hadoop中创建数据目录
$pwd
/usr/hadoop/hadoop-3.3.6
$mkdir wcinput
2.创建待处理数据
cd wcinput/
vi word.txt
core core
dotnet dotnet
java
javascript
go
rust
vue
react
angular
c
3.执行命令分析[输出目录不要存在]
cd ..
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.6.jar wordcount wcinput/ ./wcoutput
作者:奇
出处:https://www.cnblogs.com/fanqisoft/p/17857321.html
版权:本作品采用「本文版权归作者和博客园共有,欢迎转载,但必须给出原文链接,并保留此段声明,否则保留追究法律责任的权利。」许可协议进行许可。
【推荐】国内首个AI IDE,深度理解中文开发场景,立即下载体验Trae
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 阿里最新开源QwQ-32B,效果媲美deepseek-r1满血版,部署成本又又又降低了!
· 单线程的Redis速度为什么快?
· SQL Server 2025 AI相关能力初探
· AI编程工具终极对决:字节Trae VS Cursor,谁才是开发者新宠?
· 展开说说关于C#中ORM框架的用法!
2019-11-26 TypeScript 高级类型 接口(interface)
2019-11-26 TypeScript 迭代器(iterator)和生成器(generator)
2019-11-26 TypeScript symbol类型
2019-11-26 TypeScript 枚举