Hadoop本地模式安装
网络配置
首先是一台刚刚安装好的虚拟机
然后开始配置静态ip
回到虚拟机,选择图形化设置网络
重启启动网络,更新一下配置
也可以手动修改配置文件
同样别忘记 重新一下网络配置
bash systemctl restart network
宿主机ping虚拟机可以ping通
虚拟机ping百度也可以ping通
网络配置完毕。
JDK安装
下面使用xshell进行ssh远程连接
输入密码即可。
来到/opt目录下,创建两个目录,software用来存放jdk、hadoop压缩包,moduel用来存放解压后的数据
安装一下上传文件的小工具
jdk和hadoop(编译过)的压缩包已经准备好了,传送门:
链接:https://pan.baidu.com/s/1PYqJhfkjYfUNxQTsYbeUcA
提取码:97y4
上传完毕(本地磁盘文件拷贝,虚拟机嘛)之后就是解压,走你
接着配置一下环境变量就行,就是JAVA_HOME
最后面加上两条就行,最后还要source命令,查看一下java版本就行,命令记错了,一个横杠
Hadoop本地模式安装
本地模式安装直接解压就行,走你
配置一下hadoop的环境变量
最后加入
别忘了使用source命令
直接敲个hadoop检验一下环境变量的配置,没毛病
接下来使用hadoop的例子,一个包含了多个例子的jar包
首先要创建一个输入目录input
里面准备一些英文文章
然后可以执行hadoop的wordcount例子
然后可以查看输入目录output 该目录不需要提前创建,如果提前创建则报错,红箭头指向的是成功的标志
查看一下结果,you这个单词出现了26次,哈哈哈,果然是高频词,其中you,you 也看作一个词
是因为这个例子的是根据空格来区分单词的,所以还需要把逗号转化为空格的预处理,这里就不涉及那么深入了,
那是以后的事情
本地模式就这么简单,就是在本地跑一下hadoop的,多用于测试hadoop的安装