赤兔胭脂小吕布

2022年2月17日

大数据体系概述、Hive简述、Hive与传统数据库比较、Hive的存储格式、Hive的四大常用存储格式存储效率及执行速度对比

摘要：大数据体系概述 #processon.com -- 免费在线流程图思维导图 Hive简述 Hive与传统数据库比较 Hive的存储格式 TextFile RCFile、ORCFile Parquet SEQUENCEFILE、AVRO Hive的四大常用存储格式存储效率及执行速度对比阅读全文

posted @ 2022-02-17 21:38 赤兔胭脂小吕布阅读(48) 评论(0) 推荐(0) 编辑

Combiner编程、reduce join、map join、mapreduce优化总结、通过自定义分区类避免数据倾斜、MapReduce自定义排序

摘要： Combiner编程 reduce join map join mapreduce优化总结通过自定义分区类避免数据倾斜 #每一个reduce任务生成一个文件 package com.shujia.MapReduce; import org.apache.hadoop.conf.Configurat 阅读全文

posted @ 2022-02-17 16:34 赤兔胭脂小吕布阅读(18) 评论(0) 推荐(0) 编辑

MapReduce在Yarn上执行流程、Yarn核心组件功能、模拟ApplicationMaster发送Task、Map端的join

摘要： MapReduce在Yarn上执行流程 Yarn核心组件功能模拟ApplicationMaster发送Task 在MR中，MapTask、ReduceTask都是线程对象，因为需要在网络中传输，所以都实现了序列化接口 package com.shujia.MapReduce; import jav 阅读全文

posted @ 2022-02-17 15:25 赤兔胭脂小吕布阅读(44) 评论(0) 推荐(0) 编辑

2022年2月15日

MapReduce代码编写--求性别人数、求总分、关联、map端的过滤、combiner预聚合

摘要：主要基于数据 #students.txt /* 1500100001,施笑槐,22,女,文科六班 1500100002,吕金鹏,24,男,文科六班 1500100003,单乐蕊,22,女,理科六班 1500100004,葛德曜,24,男,理科三班 1500100005,宣谷芹,22,女,理科五班 1 阅读全文

posted @ 2022-02-15 16:07 赤兔胭脂小吕布阅读(127) 评论(0) 推荐(0) 编辑

Map→shuffle→Reduce过程详解、WordCount示例程序处理流程图解、InputSplit（输入map时的切片）、TextInputFormat--中的LineRecordReader、MapReduce默认输入处理类、序列化、常用的Writable实现类

摘要： map阶段 shuffle阶段 reduce阶段 WordCount示例程序处理流程图解 InputSplit（输入map时的切片） TextInputFormat--中的LineRecordReader MapReduce默认输入处理类序列化常用的Writable实现类阅读全文

posted @ 2022-02-15 15:58 赤兔胭脂小吕布阅读(51) 评论(0) 推荐(0) 编辑

NameNode启动过程详细剖析、NameNode内存详解、十大经典排序算法、MapReduce中如何处理跨行的Block和InputSplit、YARN三种资源调度策略、观察者模式（Observer模式）详解、ZAB(zookeeper原子广播协议)

摘要： NameNode启动过程详细剖析： https://blog.csdn.net/cnhk1225/article/details/50786785 NameNode内存详解： https://hexiaoqiao.github.io/blog/2016/07/21/namenode-memory-d 阅读全文

posted @ 2022-02-15 10:55 赤兔胭脂小吕布阅读(53) 评论(0) 推荐(0) 编辑

2022年2月13日

MapReduce代码编写--WordCount、运行WordCount程序、查看yarn的运行日志、杀死yarn任务

摘要：导入依赖--Maven仓库的官网(mvnrepository.com)  <dependency> <groupId>o 阅读全文

posted @ 2022-02-13 00:17 赤兔胭脂小吕布阅读(96) 评论(0) 推荐(0) 编辑

2022年2月12日

MapReduce概述、MapReduce原理、shuffle过程

摘要：什么是MapReduce MapReduce概述 #单节点提升效率可以采用多线程 #多节点提升效率可以采用分布式 MapReduce原理 shuffle过程阅读全文

posted @ 2022-02-12 23:07 赤兔胭脂小吕布阅读(10) 评论(0) 推荐(0) 编辑

Zookeeper的leader选举{分布式}

摘要：一、前言前面学习了Zookeeper服务端的相关细节，其中对于集群启动而言，很重要的一部分就是Leader选举，接着就开始深入学习Leader选举。二、Leader选举 2.1 Leader选举概述 Leader选举是保证分布式数据一致性的关键所在。当Zookeeper集群中的一台服务器出现以下阅读全文

posted @ 2022-02-12 22:09 赤兔胭脂小吕布阅读(17) 评论(0) 推荐(0) 编辑

Zookeeper全解析——Paxos作为灵魂

摘要：那么ZK Server最基础的东西是什么呢？我想应该是Paxos了。所以本文会介绍Paxos以及它在ZK Server中对应的实现。先说Paxos，它是一个基于消息传递的一致性算法，Leslie Lamport在1990年提出，近几年被广泛应用于分布式计算中，Google的Chubby，Apach 阅读全文

posted @ 2022-02-12 22:05 赤兔胭脂小吕布阅读(47) 评论(0) 推荐(0) 编辑

赤兔胭脂小吕布

天行健，君子以自强不息！

公告