06 2024 档案
摘要:事件通知机制 Watcher组件的工作流程 S3 Event
阅读全文
摘要:流程 kafka事务使用的5个API // 1. 初始化事务 void initTransactions(); // 2. 开启事务 void beginTransaction() throws ProducerFencedException; // 3. 在事务内提交已经消费的偏移量(主要用于消费
阅读全文
摘要:共享网络 每个Pod 里,额外起一个Infra container小容器来共享整个Pod的Network Namespace Infra container 是一个非常小的镜像,大概 100~200KB 左右,是一个汇编语言写的、永远处于“暂停”状态的容器。由于有了这样一个Infra contain
阅读全文
摘要:Cgroup功能 资源限制: 限制资源的使用量 优先级控制:不同的组可以有不同的资源( CPU 、磁盘 IO 等)使用优先级 审计:统计控制组的资源使用情况 Cgroup的实现 子系统Subsystem:cpu子系统,memory子系统 控制组cgroup:一组进程与一组对应的子系统相关联,一个进程
阅读全文
摘要:什么是Namespace Namespace 是 Linux 内核的一项功能,该功能对内核资源进行分区,以使一组进程看到一组资源,而另一组进程看到另一组资源。Namespace 的工作方式通过为一组资源和进程设置相同的 Namespace 而起作用,但是这些 Namespace 引用了不同的资源。资
阅读全文
摘要:优化金字塔 应用程序层面 框架层面(Broker层面) JVM层面 操作系统层面 应用程序层面:应当优化业务代码合理使用kafka,合理规划主题,合理规划分区,合理设计数据结构; 框架层面:在不改动源码的情况下,从kafka参数配置入手,结合业务体量和运行数据进行调优 JVM层面:在出现明显缓慢和可
阅读全文
摘要:基本概念 IO多路复用指用一个线程来处理多个客户端请求 Epoll是一种IO事件通知机制 IO输入输出对象可以是 文件,网络,管道等用文件描述符fd表示的 事件Event分为可读事件和可写事件,有两种触发机制(水平触发和边缘触发) 水平触发机制:只要fd关联的内核缓冲区非空/非满,数据就可以一直读/
阅读全文
摘要:Rebalance总览 Rebalance触发条件 (1)消费组成员发生变更,有新消费者加入或者离开,或者有消费者崩溃 (2)消费者组订阅的主题数量发生变更 (3)消费组订阅主题的分区数发生变更 避免不必要的Rebalance 针对(1)中消费者崩溃问题,有时候是Consumer没有在配置的制定时间
阅读全文
摘要:Apisix安装部署 Apisix官网安装教程 Apisix Dashboard官网安装教程 本次教程使用RPM包安装方式 使用systemctl管理服务 Apisix配置要点 /usr/local/apisix/conf/config.yaml Apisix服务监听 etcd连接配置 admin_
阅读全文