代码改变世界

摘要: 写在前面 最近因为项目需要在读opentsdb的一部分源码,后面会做个小结分享出来。本人是不大喜欢写这种安装部署的文章,考虑到opentsdb安装部署对于初次接触者来说不太友好,另外对公司做测试的同事可能有些帮助作用,方便他们快速安装部署,就把OpenTSDB 2.4.0安装部署文档写在这里。 对于 阅读全文
posted @ 2020-03-20 00:41 行无际 阅读(3023) 评论(0) 推荐(1) 编辑
摘要: 问题 kafka挂掉后,启动报错日志如下 [2020-03-19 17:50:58,123] FATAL Fatal error during KafkaServerStartable startup. Prepare to shutdown (kafka.server.KafkaServerSta 阅读全文
posted @ 2020-03-19 22:11 行无际 阅读(3255) 评论(0) 推荐(0) 编辑
摘要: 二、异常日志 (一) 异常处理 Java类库中定义的可以通过预检查方式规避的RuntimeException异常不应该通过catch的方式来处理,比如:NullPointerException,IndexOutOfBoundsException等等【说明:无法通过预检查的异常除外,比如,在解析字符串 阅读全文
posted @ 2020-02-23 18:33 行无际 阅读(1745) 评论(0) 推荐(0) 编辑
摘要: Java开发手册版本更新说明 版本号 版本名 更新日期 备注 1.3.0 终极版 2017.09.25 单元测试规约,IDE代码规约插件 1.3.1 纪念版 2017.11.30 修正部分描述 1.4.0 详尽版 2018.05.20 增加设计规约大类,共16条 1.5.0 华山版 2019.06. 阅读全文
posted @ 2020-02-22 23:45 行无际 阅读(1122) 评论(0) 推荐(0) 编辑
摘要: 写这篇博客的目的 让更多的人了解 阿里开源的MongoShake可以很好满足mongodb到kafka高性能高可用实时同步需求(项目地址:https://github.com/alibaba/MongoShake,下载地址:https://github.com/alibaba/MongoShake/ 阅读全文
posted @ 2020-02-19 01:25 行无际 阅读(9961) 评论(14) 推荐(5) 编辑
摘要: 需求与场景 上游某业务数据量特别大,进入到kafka一个topic中(当然了这个topic的partition数必然多,有人肯定疑问为什么非要把如此庞大的数据写入到1个topic里,历史留下的问题,现状就是如此庞大的数据集中在一个topic里)。这就需要根据一些业务规则把这个大数据量的topic数据 阅读全文
posted @ 2020-02-15 19:13 行无际 阅读(4360) 评论(1) 推荐(0) 编辑
摘要: 问题概述 "新冠期间"远程办公,需要重新搭建一套ClouderaManager(CM)开发环境,一位测试同事发现HBase的RegionServer无法启动,在CM界面上启动总是失败,观察一下日志,也没有什么明显的报错。我就专门看了一下。 排查思路 1. 因为有opentsdb在读写Hbase Re 阅读全文
posted @ 2020-02-15 13:29 行无际 阅读(1374) 评论(0) 推荐(0) 编辑
摘要: 思路 每隔一段时间(比如说10秒)统计一次某 的所有 的最大 值之和,这便是该 的message总数。 然后除以间隔时间就可以粗略但方便得出 某 的数据增长速率(即相应程序写kafka的速率) " " 中有统计最大offset命令 shell实现 注意: 1. 第一次打印出来的speed请忽略(为了 阅读全文
posted @ 2020-02-14 18:08 行无际 阅读(1928) 评论(0) 推荐(0) 编辑
摘要: topic 工具 https://cwiki.apache.org/confluence/display/KAFKA/Replication+tools offset相关 # 最大offset bin/kafka-run-class.sh kafka.tools.GetOffsetShell --b 阅读全文
posted @ 2020-02-09 17:43 行无际 阅读(18594) 评论(0) 推荐(1) 编辑
该文被密码保护。 阅读全文
posted @ 2019-01-24 21:38 行无际 阅读(1486) 评论(0) 推荐(0) 编辑