Coreqi

摘要： kafka集群部署完成后需要有一个可视化web页面，便于实时查看和观测kafka集群状态，kafka本身并没有提供可视化页面，但市面上有很多开源的可视化工具，我们以其中的Kafka Eagle为例，在安装Kafka Eagle之前，至少需要安装JDK、kafka、zookeeper的环境后，再进行后 阅读全文

摘要： 1.Kafka 消费方式 pull（拉）模式： consumer采用从broker中主动拉取数据。 Kafka采用这种方式。 push（推）模式： Kafka没有采用这种方式，因为由broker决定消息发送速率，很难适应所有消费者的消费速率。例如推送的速度是50m/s，Consumer1、Consu 阅读全文

摘要： 1.Kafka Broker 工作流程 1.Zookeeper 存储的 Kafka 信息 /kafka/brokers/ids 记录有哪些Kafka Broker服务器 /kafka/brokers/topics/first/partitions/0/state 记录每一个主题下的分区对应的Lead 阅读全文

摘要： 1.生产者消息发送流程 1.发送原理 在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAcc 阅读全文

摘要： 1.Topic(主题)命令行操作 1.查看Topic所有命令 bin/kafka-topics.sh 以下展示为最常使用的 参数 描述 --bootstrap-server <String: server toconnect to> 连接的 Kafka Broker 主机名称和端口号 --topic 阅读全文

摘要： 1.集群规划 hadoop02(192.168.58.130) hadoop03(192.168.58.131) hadoop04(192.168.58.132) zookeeper zookeeper zookeeper kafka kafka kafka 2.集群部署 1.下载kafka二进制包 阅读全文

摘要： 1. sql-client 准备 1.基于yarn-session模式 1.准备Flink集群 参考地址：Flink1.18 & YARN 会话模式 2.启动 Flink 的 sql-client /usr/flink/flink-1.18.0/bin/sql-client.sh embedded 阅读全文

摘要： 在 Flink 中，有一套完整的容错机制来保证故障后的恢复，其中最重要的就是检查点。 1.检查点（Checkpoint） 在流处理中，我们可以用存档读档的思路，就是将之前某个时间点所有的状态保存下来，这份“存档”就是所谓的“检查点”（checkpoint）。 遇到故障重启的时候，我们可以从检查点中“ 阅读全文

摘要： 与 Keyed State 中的 ListState 一样，将状态表示为一组数据的列表。 与 Keyed State 中的列表状态的区别是：在算子状态的上下文中，不会按键（key）分别 处理状态，所以每一个并行子任务上只会保留一个“列表”（list），也就是当前并行子任务上 所有状态项的集合。列表中 阅读全文

摘要： 流处理 API，无论是基本的转换、聚合，还是更为复杂的窗口操作，其实 都是基于 DataStream 进行转换的，所以可以统称为 DataStream API。 在 Flink 更底层，我们可以不定义任何具体的算子（比如 map，filter，或者 window），而只是提炼出一个统一的“处理”（p 阅读全文