一、Hadoop 运行模式

1、Hadoop 官方网站: http://hadoop.apache.org/

2、Hadoop 运行模式包括: 本地模式、 伪分布式模式以及完全分布式模式

  • 本地模式:单机运行,只是用来演示一下官方案例。 生产环境不用。
  • 伪分布式模式: 也是单机运行,但是具备 Hadoop 集群的所有功能, 一台服务器模拟一个分布式的环境。 个别缺钱的公司用来测试,生产环境不用。
  • 完全分布式模式: 多台服务器组成分布式环境。 生产环境使用。

二、本地运行模式(官方WordCount案例)

1、创建在 hadoop-3.1.3 文件下面创建一个 wcinput 文件夹

mkdir wcinput

2、在 wcinput 文件下创建一个 word.txt 文件

cd wcinput

3、编辑 word.txt 文件,随便输入一些内容,来统计每个词出现的次数

4、回到 Hadoop 目录/opt/module/hadoop-3.1.3

5、执行程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput wcoutput

注意:MapReduce 必须指定输入路径和输出路径,而且输出路径必须不存在,如果输出路径存在,抛出异常

6、查看结果

此时输出路径存在,如果再次执行程序,就会报错:

posted on 2022-04-19 23:49  格物致知_Tony  阅读(81)  评论(0编辑  收藏  举报