kafka常用操作
kafka运维常用查询操作总结以下几点:
kafka生产和消费消息测试
01 02 | 发送:bin /kafka-console-producer .sh --broker-list 10.46.200.165:9092 --topic contentApprove 接收:bin /kafka-console-consumer .sh --bootstrap-server 10.46.200.165:9092 --topic contentApprove --from-beginning |
创建topic命令参考
01 02 03 | .bin /kafka-topics .sh --create --zookeeper localhost:2181 --partitions 6 --replication-factor 2 --topic test ### --partition:创建分区数,一般可以是服务器数量的双倍 ### --replication-factor:副本数默认为1,表示没有副本。保证冗余必须最少2 |
kafka修改副本数
01 | bin /kafka-reassign-partitions .sh --zookeeper 10.124.77.41:2181 --reassignment-json- file test .json –execute |
将分区数3修改为9
01 | bin /kafka-topics .sh --zookeeper localhost:2181 --partitions 9 --alter --topic test |
查询日志过大阻塞
01 02 03 04 05 | ## 最长行 awk '{if (length(max)<length()) max=$0}END{print max}' flume.log > /tmp/long .txt ## 最短行 awk '(NR==1||length(min)>length()){min=$0}END{print min}' data.txt |
topic堆积查询需要用到的命令
01 02 03 04 05 06 07 08 09 10 11 12 13 14 | ## 查询topic bin /kafka-topics .sh --zookeeper 10.124.14.52:2181 –list ## 查某个topic描述信息 bin /kafka-topics .sh --zookeeper 10.124.14.52:2181 --describe --topic test ## 查看组列表 bin /kafka-consumer-groups .sh --bootstrap-server 10.124.14.57:9092 –list ## topic组堆积情况 bin /kafka-consumer-groups .sh --bootstrap-server 10.124.14.57:9092 --describe --group test_group ## 删除某个topic kafka /bin/kafka-topics .sh --delete --zookeeper 10.124.14.52:2181 --topic test |
elasticsearch查询
01 02 03 04 05 | ## 查询索引情况 curl -sk https: //user :password@10.124.14.46:9200 /_cat/indices ? v ## 查询elastic集群状态 curl -k <a href= "https://user:password@10.124.10.27:9200/_cluster/health" rel= "noopener nofollow" >https: //user :password@10.124.10.27:9200 /_cluster/health < /a > |
flume启动参考
01 | nohup /data/flume/run/flume/bin/flume-ng agent --conf /data/flume/run/flume/conf/conf .d/ --conf- file /data/flume/run/flume/conf/conf .d /test_prod .conf --name test_prod -Dflume.codeadmin.logger=INFO,console & |
启动jar包+指定端口
01 | nohup /usr/local/jdk1 .8 /bin/java -XX:+UseConcMarkSweepGC -Xmx3g -Xms3g -Dserver.port=8071 -jar /data/jenkins_run/jar_home/release/h5-oms_release/h5-oms-0 .0.1-SNAPSHOT.jar --spring.profiles.active=release --spring.cloud.inetutils.preferred-networks=10.46.169 > /dev/null 2>&1 & |
分类:
linux服务器运维
【推荐】编程新体验,更懂你的AI,立即体验豆包MarsCode编程助手
【推荐】凌霞软件回馈社区,博客园 & 1Panel & Halo 联合会员上线
【推荐】抖音旗下AI助手豆包,你的智能百科全书,全免费不限次数
【推荐】轻量又高性能的 SSH 工具 IShell:AI 加持,快人一步
· 深入理解 Mybatis 分库分表执行原理
· 如何打造一个高并发系统?
· .NET Core GC压缩(compact_phase)底层原理浅谈
· 现代计算机视觉入门之:什么是图片特征编码
· .NET 9 new features-C#13新的锁类型和语义
· Sdcb Chats 技术博客:数据库 ID 选型的曲折之路 - 从 Guid 到自增 ID,再到
· 语音处理 开源项目 EchoSharp
· 《HelloGitHub》第 106 期
· Spring AI + Ollama 实现 deepseek-r1 的API服务和调用
· 使用 Dify + LLM 构建精确任务处理应用