摘要:
手动部署Kraft模式kafka集群 基本信息 IP地址 Hostname Release Kafka-Version 172.29.145.157 iamdemo1 Centos7.9 kafka_2.12-3.5.1 172.29.145.182 iamdemo2 Centos7.9 kafka 阅读全文
摘要:
事件通知机制 Watcher组件的工作流程 S3 Event 阅读全文
摘要:
流程 kafka事务使用的5个API // 1. 初始化事务 void initTransactions(); // 2. 开启事务 void beginTransaction() throws ProducerFencedException; // 3. 在事务内提交已经消费的偏移量(主要用于消费 阅读全文
摘要:
共享网络 每个Pod 里,额外起一个Infra container小容器来共享整个Pod的Network Namespace Infra container 是一个非常小的镜像,大概 100~200KB 左右,是一个汇编语言写的、永远处于“暂停”状态的容器。由于有了这样一个Infra contain 阅读全文
摘要:
Cgroup功能 资源限制: 限制资源的使用量 优先级控制:不同的组可以有不同的资源( CPU 、磁盘 IO 等)使用优先级 审计:统计控制组的资源使用情况 Cgroup的实现 子系统Subsystem:cpu子系统,memory子系统 控制组cgroup:一组进程与一组对应的子系统相关联,一个进程 阅读全文
摘要:
什么是Namespace Namespace 是 Linux 内核的一项功能,该功能对内核资源进行分区,以使一组进程看到一组资源,而另一组进程看到另一组资源。Namespace 的工作方式通过为一组资源和进程设置相同的 Namespace 而起作用,但是这些 Namespace 引用了不同的资源。资 阅读全文
摘要:
优化金字塔 应用程序层面 框架层面(Broker层面) JVM层面 操作系统层面 应用程序层面:应当优化业务代码合理使用kafka,合理规划主题,合理规划分区,合理设计数据结构; 框架层面:在不改动源码的情况下,从kafka参数配置入手,结合业务体量和运行数据进行调优 JVM层面:在出现明显缓慢和可 阅读全文
摘要:
基本概念 IO多路复用指用一个线程来处理多个客户端请求 Epoll是一种IO事件通知机制 IO输入输出对象可以是 文件,网络,管道等用文件描述符fd表示的 事件Event分为可读事件和可写事件,有两种触发机制(水平触发和边缘触发) 水平触发机制:只要fd关联的内核缓冲区非空/非满,数据就可以一直读/ 阅读全文
摘要:
Rebalance总览 Rebalance触发条件 (1)消费组成员发生变更,有新消费者加入或者离开,或者有消费者崩溃 (2)消费者组订阅的主题数量发生变更 (3)消费组订阅主题的分区数发生变更 避免不必要的Rebalance 针对(1)中消费者崩溃问题,有时候是Consumer没有在配置的制定时间 阅读全文
摘要:
Apisix安装部署 Apisix官网安装教程 Apisix Dashboard官网安装教程 本次教程使用RPM包安装方式 使用systemctl管理服务 Apisix配置要点 /usr/local/apisix/conf/config.yaml Apisix服务监听 etcd连接配置 admin_ 阅读全文
摘要:
Redis简介 数据库 Redis数据存储在内存中(内存数据库),存储数据为Key-Value形式,单线程(指网络IO以及数据读写只由一个线程完成),其他功能例如持久化,异步删除,集群数据同步等是由额外的线程完成的,采用epoll异步IO多路复用,Redis所有操作均为原子操作,能够确保数据的一致性 阅读全文