kafka broker中controller的选举和partion的leader的选举
摘要:1 Kafka核心总控制器Controller kafka的所有Broker都会注册到kafka集群中去。 kafka集群会选举一个Broker作为kafka七群的总控制器Controller。 他负责管理整个集群所有分区Partition和副本follower的状态 controller的主要作用
阅读全文
Kafka核心总控制器Controller主要作用
摘要:https://www.yisu.com/zixun/586556.html 1 简介 1)更新集群元数据信息 2)创建Topic 3)删除Topic 4)分区重分配 5)preferred leader副本选举 6)Topic分区扩展 7)Broker加入集群 8)Broker崩溃 9)受控关闭
阅读全文
kafka producer生产消息发送到kafka的过程
摘要:1 KafkaProducer的几个重要成员变量 1)Partitioner 用来获取消息应该发往哪个分区 private final Partitioner partitioner; 2)ProducerMetadata kafka元数据 private final ProducerMetadat
阅读全文
kafka
摘要:1)kafka及消息队列简介 kafka及消息队列简介 2)kafka单机安装和简单使用 kafka单机安装和简单使用 3)kafka集群搭建 kafka集群搭建 4)kafka常用命令 kafka常用命令 5)kafka术语及架构简介 kafka术语及架构简介 6)kafka的broker的con
阅读全文
kafka 高水位和epoch和partion副本同步
摘要:https://blog.csdn.net/jiayi_yao/article/details/124883964 1 简介 在 kafka 中,高水位的作用主要是 2 个 1)定义消息可见性,既用来告诉我们的消费者哪些消息是可以进行消费的; 2)帮助 kafka 完成副本机制的同步。 Kafka
阅读全文
kafka ack机制
摘要:1 kafka基本架构 kafka的partion分为leader和follow。leader参与允许,二follower仅作为备份。 那么,leader和follower之间是怎么同步的呢 2 leader和follower的同步 Partition只有Leader是对外提供读写服务的 也就是说,
阅读全文
kafka 开发时生产者和消费者消息顺序的问题
摘要:1 简介 在kafka,生产者生产的消息,只会保证一个生产者生产的消息在一个partion里面是有序的。 所以在编程时,若业务对消息的顺序性有更多的要求,那么就需要自己来保证消息的顺序性了。 消费者消费了消息,offset是需要自己来维护的。也就是说需要自己去保障消费的顺序性。 2 生产者顺序的保证
阅读全文
kafka 消息的零拷贝
摘要:1 简介 零拷贝是指将数据直接从磁盘文件复制到网卡,而不需要经由应用之手。 零拷贝大大提高了应用程序的性能,减少了内核和用户模式之间的上下文切换。 对Linux操作系统而言,零拷贝技术依赖于底层的sendfile()方法实现,对于Java语言,FileChannel.transferTo()方法的底
阅读全文
Linux安装花生壳进行端口映射内网穿透
摘要:1 下载 1.1 官网下载 进入 花生壳 官网,选择linux版安装包,下载,上传到服务器 1.2 wget下载 wget "https://down.oray.com/hsk/linux/phddns_5.2.0_amd64.rpm" -O phddns_5.2.0_amd64.rpm 2 安装
阅读全文
kafka集群搭建
摘要:https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 安装准备 请确保zookeeper集群的正常启动 可参考:大数据学前准备--zookeeper详解与集群搭建(保姆级教程) 2 下载kafka Apache Kafka
阅读全文
kafka 高可用
摘要:https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Replication(拷贝) Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费
阅读全文
kafka术语和架构简介
摘要:https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka中的术语解释概述 在深入理解Kafka之前,先介绍一下Kafka中的术语。 1.1 图示 上图中一个topic配置了3个partition。 Partition
阅读全文
kafka及消息队列简介
摘要:https://blog.csdn.net/wudidahuanggua/article/details/127086186 1 Kafka是什么 Kafka是一种高吞吐量的分布式发布订阅消息系统(消息引擎系统)。 2 消息系统简介 一个消息系统负责将数据从一个应用传递到另外一个应用,应用只需关注于
阅读全文
kafka常用命令
摘要:转 https://www.cnblogs.com/xgss/articles/16580433.html 1 启动zookeeper bin/zookeeper-server-start.sh config/zookeeper.properties 2 启动kafka bin/kafka-serv
阅读全文
linux软件安装:rpm安装-yum安装-编译安装-二进制安装
摘要:转:https://blog.csdn.net/weixin_43880061/article/details/125354573 1 简介 在CentOS系统中,软件管理方式通常有这几种方式: rpm安装 、yum安装、编译安装、二进制安装 。 编译安装,从过程上来讲比较麻烦,包需要用户自行下载,
阅读全文
linux命令 wget
摘要:转:https://www.cnblogs.com/sx66/p/11887022.html 1 简介 wget是Linux中的一个下载文件的工具,是在Linux下开发的开放源代码的软件 它用在命令行下。对于Linux用户是必不可少的工具,尤其对于网络管理员,经常要下载一些软件或从远程服务器恢复备份
阅读全文
linux配置静态ip
摘要:转:https://blog.csdn.net/weixin_46560589/article/details/124814860 1 进入配置文件目录 cd /etc/sysconfig/network-scripts 2 编辑配置文件 vim ifcfg-ens32 ens32是虚拟网卡名称,根
阅读全文
IBM服务器安装centos
摘要:转:https://www.cnblogs.com/gaojiajun/p/13575937.html 1 准备工作 先制作一个系统u盘 2 配置服务器raid 2.1 简介 目前环境是5块硬盘 ,准备配置raid5 2.2 开机进入配置 服务器开机后,注意屏幕下方出现的提示, 按Ctrl + H
阅读全文