hadoop例子程序:求圆周率和wordcount
首先,hadoop01运行起来hdfs,进入hadoop目录,sbin目录下,./start-all.sh
hadoop03运行yarn资源管理 hadoop目录 sbin/start-yarn.sh
hadoop456运行zookeeper节点 /root/soft/zookeeper-3.4.6/bin ./zkServer.sh
现在集群已经全部启动起来了,其实只需要启动hdfs即可
在根目录创建文本testwords,上传到hdfs的根目录
hadoop dfs -put testwords / 报错连接不到hadoop02
当hdfs都启动起来时候。上传成功
查看
进入到例子的目录中:
执行命令:
hadoop jar hadoop-mapreduce-examples-2.7.1.jar wordcount /testwords /testwordsresult
wordcount :表示使用Wordcount这个程序 处理哪个文件 输出到哪个目录
查看结果文件:
查看统计的结果:
先查看生成result文件夹没有
查看result文件夹下面的内容
查看success文件内容,可以看出,统计结果已经出来了
2,使用自带的example程序计算圆周率
hadoop jar hadoop-mapreduce-examples-2.7.1.jar pi 5 5
使用这个命令
后面2个数字参数的含义:
第1个5指的是要运行5次map任务
第2个数字指的是每个map任务,要投掷多少次
第1个5指的是要运行5次map任务
第2个数字指的是每个map任务,要投掷多少次
结果是:4
下面简单写一点hdfs shell操作的命令:
可用 hadoop fs -help查看都有哪些命令
hadoop fs -get/put/cat/rm/ls/chown/chomod/df/h/
fs指的是filesystem,操作的意思
-chown改变所属的组
-chomod 改变权限 777表示可读可写可执行
-df 查看空间
-df -h 易于阅读的查看空间大小
-df -s -h 查看文件大小
-mkdir 创建目录
-rm -r 删除目录
-mv 移动