摘要:
安装 添加源 新增公钥 更新源 安装rabbitmq server 检查rabbitmq进程状态 查看安装的插件 查看用户 添加用户 打开http://127.0.0.1:15672用添加的用户登录 阅读全文
摘要:
Zookeeper快照文件和事物操作文件以文件的形式存储在硬盘上,以快照文件为主,日志文件为辅。因为当对内存数据进行变更的时候,会保证将事务操作记入log日志,而snapshot只是内存某一个时刻影像,为了性能takeSnapshot生成snapshot并不是实时的,而是由后台线程根据一定规则处理的 阅读全文
摘要:
ZKDatabase在内存中维护了zookeeper的sessions, datatree和commit logs集合。 当zookeeper server启动的时候会将txnlogs和snapshots从磁盘读取到内存中。核心逻辑主要在方法ZkDatabase.loadDataBase()中实现, 阅读全文
摘要:
Zookeeper事物日志文件用于记录事物操作,如添加,删除节点等等,都会在事务日志中记录一条记录。下面我们就详细分析一下txnLog事务日志文件。 txnLog事务日志文件文件由三部分组成: 日志文件头FileHeader TxnList代表记录记录集合 ZeroPad文件尾部 FileHeade 阅读全文
摘要:
Zookeeper内存结构 Zookeeper数据在内存中的结构类似于linux的目录结构,DataTree代表这个目录结构, DataNode代表一个节点。DataTree默认初始化三个目录:"","/zookeeper","/zookeeper/quota" DataNode表示一个节点,存储了 阅读全文
摘要:
1.迁移topic到新增的node上 假如现在一个kafka集群运行三个broker,broker.id依次为101,102,103,后来由于业务数据突然暴增,需要新增三个broker,broker.id依次为104,105,106.目的是要把chatmessage迁移到新增node上。脚本(jso 阅读全文
摘要:
1、安装install package 按control + `,打开命令输入框 输入一下命令: Sublime Text3请输入以下命令: 2、安装pretty json cmd + shift +p,输入install package,打开包管理器。 输入 pretty json 回车,稍等片刻 阅读全文
摘要:
Kafka基于高吞吐率和效率考虑,并没有使用第三方网络框架,而且自己基于java nio封装的,总体网络模型如下: Broker的内部按照SEDA模型处理网络请求,处理过程如下: Accept Thread负责与客户端建立连接链路,然后把Socket轮转交给Process Thread Proces 阅读全文
摘要:
Partition Recovery机制 每个Partition会在磁盘记录一个RecoveryPoint, 记录已经flush到磁盘的最大offset。broker fail 重启时,会进行loadLogs。 首先会读取该Partition的RecoveryPoint,找到包RecoveryPoi 阅读全文
摘要:
一.topic中partition存储分布 在本地的kafka中,我们只启动一个broker,创建两个topic:single-todo和single-todo-vip ,每个topic有两个partition,在${KAFKA_HOME}conf/server.properties中log.dir 阅读全文