摘要: 一、导入jia包 需要导入common,hdfs以及mapreduce下的所有jar包 二、代码实现诗词出现字数统计 先在桌面上创建一个文本文档(明月几时有.txt),内容为一首诗词 在eclipse新建三个类:WordCountMapper、WordCountReducer、WordCountDr 阅读全文
posted @ 2020-03-04 15:20 羊想蓝天 阅读(475) 评论(0) 推荐(1) 编辑
摘要: 一、客户端写入数据 1、客户端向NameNode发送上传文件的请求。 2、NameNode检查目录(这个文件是否已经存在),若已存在,返回错误,不存在,则继续。 3、NameNode给客户端发送可以上传的信息。 4、客户端再次向NameNode发送上传请求。 5、NameNode检查节点DataNo 阅读全文
posted @ 2020-02-29 16:52 羊想蓝天 阅读(462) 评论(1) 推荐(0) 编辑
摘要: 一、横向扩容(参见:https://www.cnblogs.com/yangy1/p/12362565.html) 现在在此基础上再添加一个节点 1、克隆一台主机hdp03(克隆hdp02) 修改ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 IP 阅读全文
posted @ 2020-02-26 16:01 羊想蓝天 阅读(662) 评论(0) 推荐(0) 编辑
摘要: hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件: 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode ( 阅读全文
posted @ 2020-02-25 16:56 羊想蓝天 阅读(475) 评论(0) 推荐(0) 编辑
摘要: 一、导入jar包 本次使用的是eclipse操作的,所以需要手动导入jar包 在Hadoop.7.7/share/hadoop里有几个文件夹 common为核心类,此次需要引入common和hdfs两个文件夹下的所有jar包(包括作者写的三个jar包以及lib里面的所有jar包) 连接HDFS的服务 阅读全文
posted @ 2020-02-23 15:40 羊想蓝天 阅读(1323) 评论(1) 推荐(0) 编辑
摘要: -help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix 阅读全文
posted @ 2020-02-21 13:46 羊想蓝天 阅读(326) 评论(0) 推荐(0) 编辑
摘要: 1、准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt 阅读全文
posted @ 2020-02-20 19:04 羊想蓝天 阅读(3799) 评论(0) 推荐(0) 编辑