11 2020 档案

摘要:什么是Hive Hive本身是数据仓库。 数据仓库是为了协助分析报告,支持决策,为需要业务智能的企业提供业务流程的改进和指导,从而节省时间和成本,提高质量。它与数据库系统的区别是,数据库系统可以很好地解决事务处理,实现对数据的“增、删、改、查”操作,而数据仓库则是用来做查询分析的数据库,通常不会用来 阅读全文
posted @ 2020-11-15 18:09 nohert 阅读(133) 评论(0) 推荐(0)
摘要:(1)编辑mapred-site.xml配置文件。 配置文件位于Hadoop安装位置的etc/hadoop/目录下。代码如下: <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> < 阅读全文
posted @ 2020-11-15 13:02 nohert 阅读(296) 评论(0) 推荐(0)
摘要:yarn是什么: 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题,需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复,可是由此带来的成本却越来越高,为了从根本上解决旧MapReduce存在的问题 阅读全文
posted @ 2020-11-14 21:00 nohert 阅读(126) 评论(0) 推荐(0)
摘要:zk的ACL策略 ZooKeeper的权限控制系统类似于UNIX文件系统,它采用的是ACL(AccessControl Lists)策略。 ZooKeeper定义了如下5种权限。 ·CREATE:创建子节点的权限。 ·READ:获取节点数据和子节点的权限。 ·WRITE:更新节点数据的权限。 ·DE 阅读全文
posted @ 2020-11-05 01:00 nohert 阅读(167) 评论(0) 推荐(0)
摘要:搭建HDFS高可用 在搭建hdfs高可用过程中,以node1、node2和node3来搭建高可用环境,每个节点所分配的作用如表4.3所示。 由表4.3中可以看出,NameNode(NN)分别配置在node1和node2上,ZKFC配置在node1和node3上,JournalNode(JN)配置在n 阅读全文
posted @ 2020-11-04 20:08 nohert 阅读(483) 评论(0) 推荐(0)