随笔分类 - kafka

kafka

kafka stream

摘要：阅读全文

posted @ 2023-06-24 15:40 lamda表达式先驱阅读(22) 评论(0) 推荐(0) 编辑

摘要：Kafka和MQ（消息队列）是两个不同的消息传递系统，它们的区别主要表现在以下几个方面： 1. 数据处理方式：Kafka是一种流式数据处理平台，用于在高吞吐量条件下发送、存储和处理消息流。MQ则更侧重于异步消息传递，即将消息发送到队列中，由消费者按照一定规则进行消费。 2. 消息持久化：Kafka基阅读全文

posted @ 2023-06-12 15:38 lamda表达式先驱阅读(2443) 评论(0) 推荐(0) 编辑

kafka排查cpu飙高问题

摘要：kafka一直报警内存泄漏 cpu标高用dump打印出所有内存信息,因为kafka不是核心业务,所以使用dump,还有去查看内存很多64k的,线程名是kafka 新建的线程, 线程池必须要有线程的名称,否则不知道是哪个线程一直在new对象, 结论：经分析排查，本次 157 服务器 cpu 飙高问题阅读全文

posted @ 2022-06-29 18:10 lamda表达式先驱阅读(1352) 评论(0) 推荐(0) 编辑

kafka概念

摘要：一个消费者对应一个分区 kafka的幂等性如果发送失败 sequence不会累加,就不会往分区里面存放信息 ,本来只是发送msg,现在额外发送 pid 和seq,可以避免消息重复, 生产者重复消息处理的适合阅读全文

posted @ 2022-06-13 13:30 lamda表达式先驱阅读(25) 评论(0) 推荐(0) 编辑

kafka 常用

摘要：kafka常用阅读全文

posted @ 2022-06-12 18:29 lamda表达式先驱阅读(35) 评论(0) 推荐(0) 编辑

docker

摘要：docker 就是容器盒子(类)和class(镜像文件)的关系如果本地没有,就去下载镜像最新, 把镜像拉下来然后放到一个容器上面查看docker镜像的ip 后面才是完整版 docker的网络,桥接模式 docker 常见命令 kafka所有的脚本都存在于bin目录下查看查看 test 主题的详阅读全文

posted @ 2022-06-11 13:01 lamda表达式先驱阅读(20) 评论(0) 推荐(0) 编辑