随笔分类 -  kafka

摘要:1.Kafka的用途有哪些?使用场景如何? 消息队列。都具备系统解耦、冗余存储、流量削峰、缓冲、异步通信、扩展性、可恢复性等功能 存储系统。Kafka 把消息持久化到磁盘,相比于其他基于内存存储的系统而言,有效地降低了数据丢失的风险。 流式处理平台。Kafka 不仅为每个流行的流式处理框架提供了可靠 阅读全文
posted @ 2021-03-01 19:42 彬在俊 阅读(1006) 评论(0) 推荐(1) 编辑
摘要:一、启动 1. kafka的启动 kafka-server-start.sh -daemon ../config/server.properties 2. kafka的停止 kafka-server-stop.sh 或者 kill -15 <kafka_pid> 二、实战 1. 创建一个topic 阅读全文
posted @ 2021-02-22 19:22 彬在俊 阅读(80) 评论(0) 推荐(0) 编辑
摘要:@ RDD实现详解 RDD是Spark最基本也是最根本的数据抽象,本质将数据保存在内存中,并且高度受限的共享内存,即RDD是只读的,并且只能通过其他RDD上的批量操作来创建。 1. 什么是RDD RDDDD弹性分布式内存数据集,只读,分区记录的集合,RDD只能基于在稳定物理存储中的数据集和其他已有的 阅读全文
posted @ 2021-01-21 15:20 彬在俊 阅读(596) 评论(0) 推荐(0) 编辑
摘要:@ 深入客户端 1. 分区分配策略 设置消费者与订阅主题之间的分区分配策略。 1.1 RangeAssignor分配策略 RangeAssignor 分配策略的原理是**按照消费者总数和分区总数进行整除运算来获得一个跨度,然后将分区按照跨度进行平均分配,以保证分区尽可能均匀地分配给所有的消费者。** 阅读全文
posted @ 2021-01-17 15:13 彬在俊 阅读(156) 评论(0) 推荐(0) 编辑
摘要:@ 深入服务端 1. 时间轮 Kafka中存在大量的延时操作,比如延时生产、延时拉取和延时删而是基于时间轮的概念自定义实现了一个用于延时功能的定时器除等。 为什么不用java自带的延时器? 因为时间复杂度不能满足Kafka的要求,在Netty,Zookeeper,Akka都有时间轮的存在。 时间轮介 阅读全文
posted @ 2021-01-17 12:08 彬在俊 阅读(277) 评论(0) 推荐(0) 编辑
摘要:@ 日志存储 1. 文件目录布局 Kafka中的消息是以主题为基本单位,各个主题在逻辑上相互独立。 一个分区对应一个日志(Log),为了防止Log过大,Kafka有引入日志分段(LogSegment),将Log切分成多个LogSegment,有利于消息的维护和清理。 向Log追加消息是顺序写入,只有 阅读全文
posted @ 2021-01-13 15:54 彬在俊 阅读(218) 评论(0) 推荐(0) 编辑
摘要:@ 主题与分区 1. 主题的管理 主题的管理包括创建主题,查看主题信息,修改主题,删除主题。 1.1 创建主题 创建主题语句 bin/kafka-topics.sh --zookeeper localhost:2181/kafka --create --topic test --partitions 阅读全文
posted @ 2021-01-13 13:36 彬在俊 阅读(208) 评论(0) 推荐(0) 编辑
摘要:@ 1. 消费者 消费者Consumer负责订阅kafka中的主题。并从主题中拉取消息。每个消费者都有一个对应的消费组。 两个消费组之间互不影响,每一个分区只能被一个消费组中的一个消费者所消费。 我们可以增加(或减少)消费者的个数来提高(或降低)整体的消费能力,但是过多增加消费者个数并不能一致提高消 阅读全文
posted @ 2021-01-13 13:34 彬在俊 阅读(246) 评论(0) 推荐(0) 编辑
摘要:@ 1. 基本概念 kafka系统架构如图: Kafka 架构分为以下几个部分 Producer :消息生产者,就是向 kafka broker 发消息的客户端。 Consumer :消息消费者,向 kafka broker 取消息的客户端。 Topic :可以理解为一个队列,一个 Topic 又分 阅读全文
posted @ 2021-01-13 13:32 彬在俊 阅读(459) 评论(0) 推荐(0) 编辑
摘要:一 Kafka 都有哪些特点? 高吞吐量、低延迟:kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒,每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性:kafka集群支持热扩展 持久性、可靠性:消息被持久化到本 阅读全文
posted @ 2020-07-14 15:11 彬在俊 阅读(450) 评论(0) 推荐(0) 编辑
摘要:fflume 版本为 1.6 cdh 5.13 注意启动flume是 --name 要和配置文件的 前缀一直 否知启动失败 flume 目录为 /opt/cloudera/parcels/CDH/lib/flume-ng flume 配置文件exec-memory-avro.conf vim /op 阅读全文
posted @ 2020-06-02 11:25 彬在俊 阅读(276) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示