摘要: yarn FairScheduler 与 CapacityScheduler CapacityScheduler(根据计算能力调度) CapacityScheduler 允许多个组织共享整个集群, 每个组织可以获得集群的一部分计算能力。通过为每个组织分配专门的队列, 然后再为每个队列分配一定的集群支 阅读全文
posted @ 2019-09-25 21:37 wellDoneGaben 阅读(589) 评论(0) 推荐(0) 编辑
摘要: Hive优化的四种方式 一、整体架构优化 整体架构优化点: 根据不同业务需求进行日期分区, 并执行类型动态分区。 为了减少磁盘存储空间以及I/O次数, 对数据进行压缩(Gzip) hive中间表以SequenceFile保存, 可以节约序列化和反序列化时间 yarn优化 为了易于管理资源和调度资源, 阅读全文
posted @ 2019-09-25 20:04 wellDoneGaben 阅读(694) 评论(0) 推荐(0) 编辑