摘要:
参考 http://hbase.apache.org/book.html#_architecture Architecture 65. Overview 65.1. NoSQL? HBase是一种"NoSQL"数据库。“NoSQL”一般指的是非关系型数据库,我们知道,关系型数据库支持SQL,也就是说 阅读全文
摘要:
http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html Apache Hadoop YARN YARN的主要功能包括:资源管理和任务调度及监控,它们各自都是独立的守护进程。要实现这个目标,必须有一个全局 阅读全文
摘要:
阅读全文
摘要:
https://dev.mysql.com/doc/refman/5.7/en/data-type-overview.html 阅读全文
摘要:
配置管理概述 Hive从<install-dir>/conf/hive-default.xml中读取它的默认配置 Hive配置目录的位置可以通过设置HIVE_CONF_DIR环境变量的值来改变 配置变量可以被改变,通过<install-dir>/conf/hive-site.xml中重新定义(PS: 阅读全文
摘要:
https://cwiki.apache.org/confluence/display/Hive/GettingStarted#GettingStarted-SimpleExampleUseCases 解压,并配置环境变量 在conf目录下新建一个hive-site.xml文件,配置如下 将mysq 阅读全文
摘要:
http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/HDFSHighAvailabilityWithQJM.html 背景 在Hadoop 2.0.0以前,在一个HDFS集群中NameNode存在单点故障。每个集群 阅读全文
摘要:
http://hadoop.apache.org/docs/r2.9.0/hadoop-project-dist/hadoop-hdfs/Federation.html Background HDFS有两个主要的层: Namespace 由目录、文件和块组成 它支持所有的文件系统命名空间操作,比如, 阅读全文
摘要:
Mapper Mapper的maps阶段将输入键值对经过计算得到中间结果键值对,框架会将中间结果按照key进行分组,然后传递给reducer以决定最终的输出。用户可以通过Job.setGroupingComparatorClass(Class)来指定一个Comparator。 Mapper的输出会被 阅读全文
摘要:
http://hadoop.apache.org/docs/r2.9.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html Overview 一个MapReduce作业通常会将数据输入切分成独立的块 阅读全文