03 2022 档案

Kafka - Kafka 生产者
摘要:一、生产者 如何将消息发送到 kafka集群? 将下图纵向分为4列: 1.1 生产者的主线程 Producer对象:生成一个该对象,然后调用send方法 拦截器:不是必须的,可选 序列化器:kafka自己的更轻便,大部分都是数据,保证安全校验的只是小部分;而Java数据只占一小部分,大部分都是安全校 阅读全文

posted @ 2022-03-28 00:41 frank_cui 阅读(69) 评论(0) 推荐(0) 编辑

Linux - xsync同步脚本的使用
摘要:xsync同步脚本的使用 1.简介 在集群机器配置时,经常需要将一个文件或目录copy到同样的多台集群上,如果一个一个机器去复制,比较麻烦。如果有一个办法,通过一条命令就可以实现这个目的,就简单多了。xsync就是这样一个同步脚本。xsync其实是对rsync脚本的二次封装,脚本内容可以根据自己需要 阅读全文

posted @ 2022-03-27 16:44 frank_cui 阅读(797) 评论(0) 推荐(0) 编辑

Kafka - Kafka 部署安装
摘要:一、背景:集群规划 二、Kafka 集群部署 修改配置文件 cd config/ vi server.properties # 输入以下内容: # #broker 的全局唯一编号,不能重复 broker.id=0 #删除 topic 功能使能 delete.topic.enable=true #处理 阅读全文

posted @ 2022-03-26 23:41 frank_cui 阅读(27) 评论(0) 推荐(0) 编辑

Kafka - Kafka 概述
摘要:一、为什么需要kafka 缓冲/削峰能力 hadoop组件的吞吐量只有100M/s,无法满足双11的高峰流量。中间加一层kafka,能极大的解决生产消息和消费消息的处理速度不一致的情况。 解耦 异步通信 二、消息队列的 两种模式 点对点模式 发布/订阅模式 二、kafka的消息编码格式 Kafka 阅读全文

posted @ 2022-03-26 23:25 frank_cui 阅读(73) 评论(0) 推荐(0) 编辑

Java 基础 - 优雅初始化
摘要:List优雅初始化 List<String> ukAttribute = Arrays.asList("bookName","bookProp","asOfDate","displayType","displaySubType","calcDataSource","summaryType"); Ha 阅读全文

posted @ 2022-03-25 10:39 frank_cui 阅读(64) 评论(0) 推荐(0) 编辑

重点issue - kafka分区技术选型迭代+kafka乱序问题
摘要:选型一:为了保证消息有序,只有一个分区partition 优点: (前提:生产者发送消息的顺序,和消息到达kafka的顺序一致)... 为了避免多partition,导致消费者消费某些顺序敏感的数据,会出现乱序的现象。 缺点: 当数据量巨大的时候,所有该topic的数据都挤在同一个partition 阅读全文

posted @ 2022-03-24 22:09 frank_cui 阅读(949) 评论(0) 推荐(0) 编辑

< 2025年2月 >
26 27 28 29 30 31 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 1
2 3 4 5 6 7 8

导航

统计

levels of contents
点击右上角即可分享
微信分享提示