随笔分类 -  hadoop入门

Eclipse实现MapReduce使用示例
摘要：一、MapReduce插件使用（参见https://www.cnblogs.com/yangy1/p/12420047.html） 二、示例 1、CharCount示例 数据文件 I am happy to join with you today in what will go down in hi 阅读全文
posted @ 2020-04-16 00:10 羊想蓝天 阅读(584) 评论(0) 推荐(0)
maven实现avro序列化
摘要：一、新建maven工程 二、导入pom依赖、插件 <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <version>4.12</version> </dependency> <de 阅读全文
posted @ 2020-04-14 13:04 羊想蓝天 阅读(626) 评论(0) 推荐(1)
MapReduce插件的使用
摘要：一、下载插件hadoop-eclipse-plugin-2.7.3，将插件放在eclipse的plugins目录下。 链接地址：https://pan.baidu.com/s/1nuCoe0L#list/path=%2F 二、Windows编译后的文件放在hadoop的bin目录下 三、添加hado 阅读全文
posted @ 2020-03-05 14:21 羊想蓝天 阅读(510) 评论(0) 推荐(0)
初学MapReduce离线计算（eclipse实现）
摘要：一、导入jia包 需要导入common,hdfs以及mapreduce下的所有jar包 二、代码实现诗词出现字数统计 先在桌面上创建一个文本文档（明月几时有.txt）,内容为一首诗词 在eclipse新建三个类：WordCountMapper、WordCountReducer、WordCountDr 阅读全文
posted @ 2020-03-04 15:20 羊想蓝天 阅读(516) 评论(0) 推荐(1)
hdfs的客户端读写流程以及namenode,secondarynamenode,checkpoint原理
摘要：一、客户端写入数据 1、客户端向NameNode发送上传文件的请求。 2、NameNode检查目录（这个文件是否已经存在），若已存在，返回错误，不存在，则继续。 3、NameNode给客户端发送可以上传的信息。 4、客户端再次向NameNode发送上传请求。 5、NameNode检查节点DataNo 阅读全文
posted @ 2020-02-29 16:52 羊想蓝天 阅读(573) 评论(1) 推荐(0)
hadoop的扩容
摘要：一、横向扩容(参见：https://www.cnblogs.com/yangy1/p/12362565.html) 现在在此基础上再添加一个节点 1、克隆一台主机hdp03(克隆hdp02) 修改ip vim /etc/sysconfig/network-scripts/ifcfg-ens33 IP 阅读全文
posted @ 2020-02-26 16:01 羊想蓝天 阅读(714) 评论(0) 推荐(0)
hadoop完全分布式部署
摘要：hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ 阅读全文
posted @ 2020-02-25 16:56 羊想蓝天 阅读(499) 评论(0) 推荐(0)
HDFS核心类FileSystem的使用
摘要：一、导入jar包 本次使用的是eclipse操作的，所以需要手动导入jar包 在Hadoop.7.7/share/hadoop里有几个文件夹 common为核心类，此次需要引入common和hdfs两个文件夹下的所有jar包(包括作者写的三个jar包以及lib里面的所有jar包) 连接HDFS的服务 阅读全文
posted @ 2020-02-23 15:40 羊想蓝天 阅读(1378) 评论(1) 推荐(0)
hadoop常用的操作指令
摘要：-help:查看帮助 hadoop fs -help rm -rm [-f] [-r|-R] [-skipTrash] <src> ... : Delete all files that match the specified file pattern. Equivalent to the Unix 阅读全文
posted @ 2020-02-21 13:46 羊想蓝天 阅读(349) 评论(0) 推荐(0)
Hadoop的伪分布式安装和部署的流程
摘要：1、准备工作 下载一些用到的命令 yum install -y vim yum install -y lrzsz yum install net-tools 目录约定 /opt #工作目录 /opt/install #安装包 /opt/softwar #软件包 /opt/other #其它 /opt 阅读全文
posted @ 2020-02-20 19:04 羊想蓝天 阅读(3875) 评论(0) 推荐(0)