RocketMQ 5.0 如何配置TLS加密传输?
本文作者:李伟,社区里大家叫小伟,Apache RocketMQ Committer,RocketMQ Python客户端项目Owner ,Apache Doris Contributor,腾讯云RocketMQ开发工程师。
01 传输架构图
Namesrv:5.1.0
Broker:5.1.0
Dashboard:1.0.1-SNAPSHOT
02 准备Namesrv、Broker、Client的ca证书、密钥
以下全部操作在的目录在:/etc/rocketmq, 并且Namesrv、Broker、Dashboard在同一个机器上
实际操作时, dashboard或者客户端可以是其他的机器
- 生成ca签名证书
填写与重复填写ca证书密码。实际填写的时候是输入的字符是看不见的。
openssl req -newkey rsa:2048 -keyout ca_rsa_private.pem -x509 -days 365 -out ca.pem
- 填写其他信息, 不填的话使用 “.”
生成ca签名证书
- 生成公私密钥。提供给客户端-服务端加密传输使用
openssl req -newkey rsa:2048 -keyout server_rsa.key -out server.csr
Generating a 2048 bit RSA private key
生成加密密钥对
- 生成Namesrv、Broker加密密钥对,并且签发Namesrv、Broker证书
openssl req -newkey rsa:2048 -keyout server_rsa.key -out server.csrGenerating a 2048 bit RSA private key
生成Namesrv、Broker密钥,签发证书
- 打包并加密Namesrv、Broker私钥
- 添加Namesrv、Broker使用的tls配置文件
- tls-broker.properties
tls.test.mode.enable=false
tls.server.need.client.auth=none
tls.server.keyPath=/etc/rocketmq/server.key
tls.server.keyPassword=123456
tls.server.certPath=/etc/rocketmq/server.pem
tls.client.authServer=false
tls.client.trustCertPath=/etc/rocketmq/ca.pem
- tls-namesrv.properties
tls.test.mode.enable=false
tls.server.need.client.auth=none
tls.server.keyPath=/etc/rocketmq/server.key
tls.server.keyPassword=123456
tls.server.certPath=/etc/rocketmq/server.pem
- tls-client.properties
tls.client.trustCertPath=/etc/rocketmq/ca.pem
至此,我们得到了全部的tls配置文件:
全部配置文件
03 修改启动脚本
3.1 修改namesrv启动脚本
vim bin/runserver.sh
修改namesrv启动脚本
3.2 修改broker启动配置
- 修改broker启动脚本, 设置jvm支持tls
vim bin/runbroker.sh
修改broker启动脚本
- 添加broker.conf
brokerClusterName = DefaultCluster
brokerName = broker-a
brokerId = 0
deleteWhen = 04
fileReservedTime = 48
brokerRole = ASYNC_MASTER
flushDiskType = ASYNC_FLUSH
namesrvAddr = 127.0.0.1:9876
3.3 修改dashboard配置
- 修改namesrv地址
修改namesrv地址
- 打开tls开关
vim rocketmq-dashboard-1.0.1-SNAPSHOT.jar
修改dashboard配置
说明:如果是客户端生产消费,设置如下
消费者开启tls开关
生产者开启tls开关
04 启动Namesrv,Broker,Dashboard
- 启动namesrv
nohup sh bin/mqnamesrv &
- 启动broker
nohup sh bin/mqbroker -c conf/broker.conf &
- 启动dashboard
java -Dtls.client.authServer=true -Dtls.enable=true -Dtls.test.mode.enable=false -Dtls.config.file=/etc/rocketmq/tls-client.properties -jar rocketmq-dashboard-1.0.1-SNAPSHOT.jar
05 验证
- tcpdump抓包验证
TLS抓包结果
- rocketmq dashboad日志验证: ~/logs/rocketmqlogs/rocketmq_client.log
06 问题:抓包结果中, 为什么还有TCP协议呢?
- 抓包结果中, 为什么还有TCP协议呢?
- 客户端可以通过设置:-Dtls.enable=true开启, 但是实际还是需要设置代码"producer.setUseTLS(useTls);" 或者 “consumer.setUseTLS(useTls);”, 为什么?
07 看看生成的最终文件到底是什么?
- ca.pemca根证书
- ca_rsa_private.pemca根证书的加密私钥
- server.pem使用跟证书签发的Namesrv、Broker的证书
- server_rsa.keyNamesrv、Broker的加密私钥
- server.csrNamesrv、Broker的加密证书的公钥和用于辨别证书迁移机构的名称信息
- server.key打包并加密后的Namesrv、Broker的私钥(server_rsa.key)
- ca.srlca签发证书的序列号
1、tls-namesrv.properties
内容见上文, 是namesrv中netty识别的tls加密传输的配置
2、tls-broker.properties
内容见上文, 是broker中netty识别的tls加密传输的配置
3、tls-client.properties
内容见上文, 是client中netty识别的tls加密传输的配置
PS:RocketMQ的tls配置4.X版本和5.X版本差不多, 基本都可以用。