摘要: 1、MapReduce简介¶ 定义:MapReduce是一个用于处理海量数据的分布式计算框架。 特点:数据分布式存储(HDFS)、作业调度(任务分配、进出规则)、容错(故障处理)、机器间通信(服务器通信协调)等。 举个简单的例子:比如说有一堆钞票,面值大小为10 50 100,103个人来统计各种面 阅读全文
posted @ 2019-12-31 18:03 雨中漫步人生 阅读(634) 评论(0) 推荐(0) 编辑
摘要: 数据库分区的主要目的是为了在特定的SQL操作中减少数据读写的总量以缩减响应时间,主要包括两种分区形式:水平分区与垂直分区。水平分区是对表进行行分区。而垂直分区是对列进行分区,一般是通过对表的垂直划分来减少目标表的宽度,常用的是水平分区。 1、分区参数介绍¶ hive.exec.dynamic.par 阅读全文
posted @ 2019-12-31 16:31 雨中漫步人生 阅读(17580) 评论(0) 推荐(0) 编辑