《OD学hadoop》第四周0716
7.16
一、回顾
二、HDFS Federation(联盟)
Hadoop 2.2.0发布新特性
很多的大公司都在使用:BAT
HDFS Federation + HDFS HA架构
互相隔开,但是数据存储共用
1、新特性介绍
ViewFs Guide 视图文件系统
HDFS Snapshots 快照
在某一时刻某一个瞬间在整个文件系统中,它存储的文件具体的情况
比如:存储多少文件、它的副本数...一些信息
好处:备份、恢复
Edits Viewer
Image Viewer
用来查看fsimage和edits文件的工具
Quotas and HDFS
HDFS 配额
两种:空间、目录
C API libhdfs
可以用C语言编写MR程序,访问文件系统
2、HA和联盟的区别
HDFS HA:
两个namenode->管理同一个文件系统,内存中存储的内容是一样的。
HDFS Federation:
两个namenode各自管理属于自己一部分的数据,存储的内容完全不一样的。
namenode共同使用datanode的存储空间
namenode内存限制
注意:配置之前需要关闭原有的集群还有正在运行的服务
3、HDFS Federation配置
dfs.namenode.rpc-address:8020
datanode和namenode交互端口号
dfs.namenode.servicerpc-address:8022
减轻一个端口号的压力,可配置项
dfs.namenode.http-address:50070
浏览器访问端口
dfs.namenode.https-address:50470
浏览器访问端口
格式化所有的namenode,虽然是三个不同的namenode
但是是在一个集群中的,每个集群都有一个唯一的标识符clusterID
如果不提供ID,会自动生成一个,以免与其他集群产生冲突
三、MapReduce二次排序
MR :
input map() shuffle reduce() output
MR shuffle:
partition sort combiner compress group
排序:默认是按照key排序
分组:相同key的value放在一起
比较:key相同
指定:比较器->实现接口
key和key的比较->shuffle
需求:文件中有这些数据,依据第一个字段进行排序
如果第一个字段相同,对第二个字段进行排序
a,1 a#1,1
z,3 z#3,3
b,2 b#2,2
a,100 a#100,100
a,3 a#3,3
b,1 b#1,1
a#1,1 a#1,list<1,3,100> a,1 a,3 a,100
a#3,3
a#100,100
b#1,1
b#2,2
z#3,3
默认比较两个字段,要保持原来的第一个字段进行分组
第一个字段相同,代表key相同
这种排序是在整个shuffle阶段进行操作,并不是reduce的方法中操作的
MR本身具有排序特性:将第一个作为key,第二个字段怎么办?
直接对value进行排序?
排序消耗的CPU内存资源
【小结】mapreduce二次排序要点
1,组合key,key是一个组合字段,自定义数据类型
继承writablComparable
2、保证原来的分区,需要自定义分区partitioner,
继承partitioner
3、保持原来的分组,需要自定义分组
继承RawComparator
四、MR join
HDFS两张表:两类文件->MR分析
map join(在数据比较小的情况下可以使用)
【举例】
淘宝天猫双十一购物
1、 账户信息包括:用户ID、名称、收货地址、电话联系方式
(customer)
cid cname address telphone
2、订单信息包括:订单ID、用户ID、商品价格、商品名称
(order)
oid cid price pname
将两个表进行关联
关联之后的信息包括:用户ID、名称、收货地址、电话联系方式、商品名称
cid name address telphone pname
每个商品订单都能找到购买人
两张表->公共连接点->key(map输出的key)
cid cname address telphone(小表)
oid cid price pname(大表)
功能:
cid name address telphone pname
map-><key,value>
<cid(key), customerinfo(value)> -> <cid, customerinfo>
reduce端join(也叫shuffle join或common join)
reduce input keyvalue:
<cid, list(cinfo, orderinfo, order info, orderinfo, orderinfo)>
map
customer:
<cid,cinfo>
cinfo:
(标识)tag:customer/order
data:cinfo/orderinfo
order:
<cid,orderinfo>
五、MapReduce分布式缓存
DistributeCache
六、
Apache hadoop:
hadoop 1.x
hadoop 2.x
cloudera hadoop: -> cloudera manager
CDH3 CDH4 CDH5
hortonworks hadoop: -> yahoo
HDP 2.x
hue
![]() |
作者:沙漏哟 出处:计算机的未来在于连接 本文版权归作者和博客园共有,欢迎转载,请留下原文链接 微信随缘扩列,聊创业聊产品,偶尔搞搞技术 |