CentOS 7/8 部署Maxwell

Maxwell官网 http://maxwells-daemon.io/

1.下载解压

cd /usr/local/
mkdir maxwell
cd maxwell
wget https://github.com/zendesk/maxwell/releases/download/v1.27.1/maxwell-1.27.1.tar.gz # 有点慢
tar zxvf maxwell-1.27.1.tar.gz

2.编辑配置文件

mkdir /usr/local/maxwell/conf
cd /usr/local/maxwell/conf
cp ../maxwell-1.27.1/config.properties.example ./prod.maxwell.properties # prod.maxwell.properties是自定义的配置文件名称 
vim prod.maxwell.properties 
# 新增或修改以下内容
producer=kafka
kafka.bootstrap.servers=192.168.32.36:9092,192.168.32.37:9092,192.168.32.38:9092 # kafka地址
kafka_topic=prod.%{database}.%{table}


host=1.2.3.4 # mysql地址
user=mysqlUser # mysqlUser
password=mysqlPassword #mysqlPassword

#filter=exclude: *.*, include: databaseA.tableB, include: databaseC.tableD # 可选过滤 只留下databaseA.tableB和databaseC.tableD

http_port=9082 # 开启http用于监控
metrics_type=http
metrics_jvm=true
metrics_prefix=metrics # 自定义指标前缀 默认是MaxwellMetrics太长

 3.编辑启动脚本

cd /usr/local/maxwell/
mkdir logs
vim prod.maxwell.sh
# 添加以下内容
baseDir=/usr/local/maxwell
${baseDir}/maxwell-1.27.1/bin/maxwell --config ${baseDir}/config/prod.maxwell.properties >> ${baseDir}/logs/prod.maxwell.log 2>&1 &
# 给脚本添加可执行权限
chmod +x prod.maxwell.sh

4.如果需要指定Kafka副本数和分区数需要预先创建topic

5.启动服务

./prod.maxwell.sh
cat logs/prod.maxwell.log
# 另外可通过 http://ServerIP:9082/healthcheck 可以查看服务健康状态 /metrics 以json返回当前运行信息 /ping 返回 pong

6.初始化历史数据 详细可参考 http://maxwells-daemon.io/bootstrapping/

cd /usr/local/maxwell/maxwell-1.27.1
bin/maxwell-bootstrap --host mysql地址 --user mysql用户名 --password mysql密码 --database 数据库名 --table 表名