随笔分类 - Kafka
windows10环境下的RabbitMQ安装步骤（图文）
摘要：windows10环境下的RabbitMQ安装步骤（图文） 记录下本人在win10环境下安装RabbitMQ的步骤，以作备忘。 第一步：下载并安装erlang 原因：RabbitMQ服务端代码是使用并发式语言Erlang编写的，安装Rabbit MQ的前提是安装Erlang。 下载地址：http:/
阅读全文
如何保障消息中间件 100% 消息投递成功？如何保证消息幂等性？
摘要：一、前言 二、分析问题 三、持久化 四、confirm机制 五、消息提前持久化 + 定时任务 六、幂等含义 6.1、为什么要有幂等这种场景？ 6.2、乐观锁方案 6.3、唯一ID + 指纹码 6.4、Redis原子操作 6.1、为什么要有幂等这种场景？ 6.2、乐观锁方案 6.3、唯一ID + 指纹
阅读全文
微服务框架Spring Cloud之使用事件和消息队列实现分布式事务
摘要：不同于单一架构应用(Monolith), 分布式环境下, 进行事务操作将变得困难, 因为分布式环境通常会有多个数据源, 只用本地数据库事务难以保证多个数据源数据的一致性. 这种情况下, 可以使用两阶段或者三阶段提交协议来完成分布式事务.但是使用这种方式一般来说性能较差, 因为事务管理器需要在多个数据
阅读全文
kafka可视化客户端工具（Kafka Tool）的基本使用
摘要：1、下载 下载地址：http://www.kafkatool.com/download.html 2、安装 根据不同的系统下载对应的版本，我这里kafka版本是1.1.0，下载kafka tool 2.0.1。 双击下载完成的exe图标，傻瓜式完成安装。 3、简单使用 kafka环境搭建请参考：Ce
阅读全文
在Docker环境下部署Kafka
摘要：1、下载镜像 这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像 在命令中运行docker images验证两个镜像已经安装完毕 2、启动 1、启动zookeeper 2、启动kafka 可以通过docker ps查看启动状态 3、测试发送消
阅读全文
Kafka集群部署
摘要：一、集群部署的基本流程 下载安装包、解压安装包、修改配置文件、分发安装包、启动集群 二、集群部署的基础环境准备 安装前的准备工作（zk集群已经部署完毕） 关闭防火墙 chkconfig iptables off && setenforce 0 创建用户 groupadd realtime && us
阅读全文
向kafka批量发送已存在的txt文件
摘要：需要利用kafka发送txt或log文件，有两种方式：1.自己写程序；2.利用kafka自带脚本。 package kafka.producer; import java.util.concurrent.ArrayBlockingQueue; import java.util.concurrent.
阅读全文
