摘要:
1、MapReduce简介¶ 定义:MapReduce是一个用于处理海量数据的分布式计算框架。 特点:数据分布式存储(HDFS)、作业调度(任务分配、进出规则)、容错(故障处理)、机器间通信(服务器通信协调)等。 举个简单的例子:比如说有一堆钞票,面值大小为10 50 100,103个人来统计各种面 阅读全文
摘要:
数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间,主要包括两种分区形式:水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区,一般是通过对表的垂直划分来减少目标表的宽度,常用的是水平分区。 1、分区参数介绍¶ hive.exec.dynamic.par 阅读全文