04 2020 档案

java死锁程序
摘要:(1)死锁案例 /** * 一个简单的死锁类 * main方法中启动两个线程,分别调用methodA和methodB方法 * methodA方法首先获取到a对象的锁,睡眠1秒钟 * 此时methodB方法执行获取到b对象的锁,睡眠1秒 * 此时methodA需要去获取b对象的锁才能继续执行,但是b锁 阅读全文

posted @ 2020-04-30 20:31 hdc520 阅读(215) 评论(0) 推荐(0) 编辑

算法之位操作
摘要:一、基本操作 (1)异或即^:针对二进制,相同为0,不同为1 1)交换律:a ^ b ^ c = a ^ c ^ b 2)任何数与0异或为任何数 0 ^ n = n (2)位与运算&:针对二进制每一位进行&操作,当都为1时才是1; (3)或操作|:针对二进制,有1即为1 二、应用 (1)异或 //给 阅读全文

posted @ 2020-04-29 11:25 hdc520 阅读(214) 评论(0) 推荐(0) 编辑

Hive以及spark的Join过程
摘要:Join大致包括三个要素:Join方式、Join条件以及过滤条件。其中过滤条件也可以通过AND语句放在Join条件中。 二、Hive/MR中的Join可分为Common Join(Reduce阶段完成join)和Map Join(Map阶段完成join)。介绍两种join的原理和机制。 (1)Com 阅读全文

posted @ 2020-04-28 10:41 hdc520 阅读(1779) 评论(0) 推荐(0) 编辑

kafka API
摘要:(1)Producer的API 1、发送流程:Kafka 的 Producer 发送消息采用的是异步发送的方式。在消息发送的过程中,涉及到了两个线程——main 线程和 Sender 线程,以及一个线程共享变量——RecordAccumulator。main 线程将消息发送给 RecordAccum 阅读全文

posted @ 2020-04-27 22:04 hdc520 阅读(201) 评论(0) 推荐(0) 编辑

kafka的生产者与消费者
摘要:一、kafka的存储机制 (1)存储机制:Kafka 中消息是以 topic 进行分类的,生产者生产消息,消费者消费消息,都是面向 topic的。 topic 是逻辑上的概念,而 partition 是物理上的概念,每个 partition 对应于一个 log 文件,该 log 文件中存储的就是 p 阅读全文

posted @ 2020-04-22 14:59 hdc520 阅读(2013) 评论(0) 推荐(0) 编辑

kafka架构
摘要:一、架构图如下: (1)相关概念 1、Producer:消息生产者,向kafka broker发送消息的客户端 2、Consumer:消息消费者,是消费者群组的一部分即可能会有一个或者多个消费者共同读取一个主题。 3、ConsumerGroup:消费者组,由多个 consumer 组成。消费者组内每 阅读全文

posted @ 2020-04-20 15:49 hdc520 阅读(362) 评论(0) 推荐(0) 编辑

kafka概述
摘要:一、消息队列 (1)常见的消息队列:RocketMQ,kafka (2)传统消息队列的应用场景:异步处理,具体场景:用户为了使用某个应用,进行注册,系统需要发送注册邮件并验证短信。对这两个操作的处理方式有两种:串行及并行。 1、串行处理:新注册信息生成后,先发送注册邮件,再发送验证短信; 2、并行处 阅读全文

posted @ 2020-04-20 13:55 hdc520 阅读(154) 评论(0) 推荐(0) 编辑

B树与B+树以及红黑树
摘要:1、B树与B+树 (1)B树与B+树的区别 1)B+树中只有叶子节点会带有指向记录的指针;而B树则所有节点都带有,在内部节点出现的索引项不会再出现在叶子节点中。 2)B+树中所有叶子节点都是通过指针连接在一起,而B树不会。 (2)B树与B+树的优缺点 1)B树优点:由于B树的每一个节点都包含key和 阅读全文

posted @ 2020-04-14 20:51 hdc520 阅读(4211) 评论(0) 推荐(0) 编辑

导航