一、Hadoop 运行模式
1、Hadoop 官方网站: http://hadoop.apache.org/
2、Hadoop 运行模式包括: 本地模式、 伪分布式模式以及完全分布式模式
- 本地模式:单机运行,只是用来演示一下官方案例。 生产环境不用。
- 伪分布式模式: 也是单机运行,但是具备 Hadoop 集群的所有功能, 一台服务器模拟一个分布式的环境。 个别缺钱的公司用来测试,生产环境不用。
- 完全分布式模式: 多台服务器组成分布式环境。 生产环境使用。
二、本地运行模式(官方WordCount案例)
1、创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹
mkdir wcinput
2、在 wcinput 文件下创建一个 word.txt 文件
cd wcinput
3、编辑 word.txt 文件,随便输入一些内容,来统计每个词出现的次数
4、回到 Hadoop 目录/opt/module/hadoop-3.1.3
5、执行程序
hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput
注意:MapReduce 必须指定输入路径和输出路径,而且输出路径必须不存在,如果输出路径存在,抛出异常
6、查看结果
此时输出路径存在,如果再次执行程序,就会报错: