随笔 - 1162  文章 - 0  评论 - 16  阅读 - 59万 

一、Hadoop 运行模式

1、Hadoop 官方网站: http://hadoop.apache.org/

2、Hadoop 运行模式包括: 本地模式、 伪分布式模式以及完全分布式模式

  • 本地模式:单机运行,只是用来演示一下官方案例。 生产环境不用。
  • 伪分布式模式: 也是单机运行,但是具备 Hadoop 集群的所有功能, 一台服务器模拟一个分布式的环境。 个别缺钱的公司用来测试,生产环境不用。
  • 完全分布式模式: 多台服务器组成分布式环境。 生产环境使用。

二、本地运行模式(官方WordCount案例)

1、创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

mkdir wcinput

2、在 wcinput 文件下创建一个 word.txt 文件

cd wcinput

3、编辑 word.txt 文件,随便输入一些内容,来统计每个词出现的次数

4、回到 Hadoop 目录/opt/module/hadoop-3.1.3

5、执行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

注意:MapReduce 必须指定输入路径和输出路径,而且输出路径必须不存在,如果输出路径存在,抛出异常

6、查看结果

此时输出路径存在,如果再次执行程序,就会报错:

posted on   格物致知_Tony  阅读(86)  评论(0编辑  收藏  举报
相关博文:
阅读排行:
· winform 绘制太阳,地球,月球 运作规律
· 震惊!C++程序真的从main开始吗?99%的程序员都答错了
· 【硬核科普】Trae如何「偷看」你的代码?零基础破解AI编程运行原理
· 超详细:普通电脑也行Windows部署deepseek R1训练数据并当服务器共享给他人
· AI与.NET技术实操系列(五):向量存储与相似性搜索在 .NET 中的实现
历史上的今天:
2021-04-19 Java 集合:(十四) Set实现类:TreeSet
2021-04-19 Java 集合:(十三) Set实现类:LinkedHashSet
2021-04-19 Java 集合:(十二) Set实现类:HashSet
2021-04-19 Java 集合:(十一) Set子接口
2021-04-19 Java 集合:(十) Arraylist 与 LinkedList 异同
2021-04-19 Java 集合:(九) ArrayList 与 Vector 异同
2021-04-19 Java 集合:(八) Vector 子类 Stack
点击右上角即可分享
微信分享提示

目录导航