摘要: 参考 http://hbase.apache.org/book.html#_architecture Architecture 65. Overview 65.1. NoSQL? HBase是一种"NoSQL"数据库。“NoSQL”一般指的是非关系型数据库,我们知道,关系型数据库支持SQL,也就是说 阅读全文
posted @ 2017-12-31 18:24 废物大师兄 阅读(1442) 评论(0) 推荐(2) 编辑
摘要: http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html Apache Hadoop YARN YARN的主要功能包括:资源管理和任务调度及监控,它们各自都是独立的守护进程。要实现这个目标,必须有一个全局 阅读全文
posted @ 2017-12-30 18:09 废物大师兄 阅读(893) 评论(0) 推荐(0) 编辑
摘要: 阅读全文
posted @ 2017-12-28 12:50 废物大师兄 阅读(381) 评论(0) 推荐(0) 编辑
摘要: https://dev.mysql.com/doc/refman/5.7/en/data-type-overview.html 阅读全文
posted @ 2017-12-28 12:36 废物大师兄 阅读(422) 评论(0) 推荐(0) 编辑
摘要: 配置管理概述 Hive从<install-dir>/conf/hive-default.xml中读取它的默认配置 Hive配置目录的位置可以通过设置HIVE_CONF_DIR环境变量的值来改变 配置变量可以被改变,通过<install-dir>/conf/hive-site.xml中重新定义(PS: 阅读全文
posted @ 2017-12-28 11:08 废物大师兄 阅读(419) 评论(0) 推荐(0) 编辑
摘要: https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压,并配置环境变量 在conf目录下新建一个hive-site.xml文件,配置如下 将mysq 阅读全文
posted @ 2017-12-27 23:08 废物大师兄 阅读(319) 评论(0) 推荐(0) 编辑
摘要: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 背景 在Hadoop 2.0.0以前,在一个HDFS集群中NameNode存在单点故障。每个集群 阅读全文
posted @ 2017-12-26 21:50 废物大师兄 阅读(458) 评论(0) 推荐(0) 编辑
摘要: http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有两个主要的层: Namespace 由目录、文件和块组成 它支持所有的文件系统命名空间操作,比如, 阅读全文
posted @ 2017-12-26 20:50 废物大师兄 阅读(1003) 评论(0) 推荐(0) 编辑
摘要: Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对,框架会将中间结果按照key进行分组,然后传递给reducer以决定最终的输出。用户可以通过Job.setGroupingComparatorClass(Class)来指定一个Comparator。 Mapper的输出会被 阅读全文
posted @ 2017-12-26 12:42 废物大师兄 阅读(471) 评论(0) 推荐(0) 编辑
摘要: http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overview 一个MapReduce作业通常会将数据输入切分成独立的块 阅读全文
posted @ 2017-12-25 23:16 废物大师兄 阅读(637) 评论(0) 推荐(0) 编辑