10 2019 档案

摘要：hive启动时错误1 hive启动时错误2 hive建表时出现在drop表时卡死阅读全文

posted @ 2019-10-27 10:42 总完不成计划的图图阅读(502) 评论(0) 推荐(0) 编辑

摘要：一、Zookeeper工作机制分布式和集中式系统相比，有很多优势，比如更强的计算能力，存储能力，避免单点故障等问题。但是由于在分布式部署的方式遇到网络故障等问题的时候怎么保证各个节点数据的一致性和可用性是比较关键的问题。那么，对于分布式集群来说，我们需要一个能够在各个服务和节点之间进行协调和服务阅读全文

posted @ 2019-10-09 19:42 总完不成计划的图图阅读(1141) 评论(1) 推荐(1) 编辑

MapReduce与Yarn 的详细工作流程分析

摘要：MapReduce详细工作流程之Map阶段如上图所示 1. 首先有一个200M的待处理文件 2. 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 3. 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要阅读全文

posted @ 2019-10-08 20:57 总完不成计划的图图阅读(1206) 评论(0) 推荐(2) 编辑