摘要:
我们在前面把集群搭建起来了,也设置了kafka broker的配置,下面我们用代码来实现一下客户端向kafka发送消息,consumer端从kafka消费数据。大家先不要着急着了解 各种参数的配置,先感受一下整个流程,我会跟大家逐一深入的学习和探讨。 1.引入的maven依赖 2.创建topic 3 阅读全文
摘要:
一.创建server端 二.client端 阅读全文
摘要:
一.drpc 的介绍 1.rpc RPC(Remote Procedure Call)—远程过程调用,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。 2.drpc drpc(Distributed Remote Procedure Call) - 分布式的远程过程调用。 阅读全文
摘要:
为什么要了解这些名词的解释呢?因为在学一个新的知识或者领域的时候,我们需要知道它所定义的概念和名词意思,因为只有这样我们才能理解和掌握这个新的知识点,才能更加系统的掌握这个技术。 一.名词解释 1.broker 2.topic (主题) 3. partition(分区) 4.partition re 阅读全文
摘要:
虽然在前面一部分我们启动了kafka集群,并通过控制台的方式实现了producer和consumer,但是我们还是了解一下kafka单个节点是的配置参数属性, 也只有了解了这些参数的配置,才能将kafka的性能发挥到最好。 标红部分为集群必配属性,致于其它的参数配置等学完后再回过头来看这些参数,你就 阅读全文
摘要:
一.应用背景 观察者模式又称为发布/订阅(Publish/Subscribe)模式,我们可以理解为:只有关注信公众号关注后才能收到信息 二.优、缺点 优点: 1、可以动态的改变对象的行为 缺点: 1、客户端必须知道所有的策略类,并自行决定使用哪一个策略类 2、策略模式将造成产生很多策略类 三.组成 阅读全文
摘要:
一.kafka集群搭建 1.上传解压 2.配置文件的配置 1.修改 server.properties文件 broker.id=11 #192.168.199.11 #21 一般使用ip后三位 listeners=PLAINTEXT://192.168.199.11:9092 #34 log.dir 阅读全文
摘要:
一.trident 的介绍 trident 的英文意思是三叉戟,在这里我的理解是因为之前我们通过之前的学习topology spout bolt 去处理数据是没有问题的,但trident 的对spout bolt 更高层次的一个抽象,其实现功能是一样的,只不过是trident做了更多的优化和封装.如 阅读全文
摘要:
一.stream group分组介绍 Stream 的分组分为随机分组、字段分组、全部分组、全局分组、无分组、直接分组,自定义分组 二.group的介绍 1.Shuffle grouping:通过tuple获取任务到supout,然后再由spout将任务分发到Bolt上。这种分组是随机性的,没有规律 阅读全文
摘要:
一.optional的介绍 Optional 是个容器:它可以保存类型T的值,或者仅仅保存null。Optional提供很多有用的方法,这样我们就不用显式进行空值检测。 Optional 类的引入很好的解决空指针异常。 本文将从三方面来讲解optional: 1.Optional的构建 2.Opti 阅读全文