摘要：
现在有个需求需要对使用 innodb 的数据库进行热备。网上查了很多工具皆推荐 Percona-xtrabackup 于是就仔细了解调研一番。 我们可以前往 https://www.percona.com/downloads/XtraBackup/LATEST/ 下载我们需要的 linux 发行版的 阅读全文
摘要：
搜了一下自己的 Blog 一直缺乏一篇 Python logging 模块的深度使用的文章。其实这个模块非常常用，也有非常多的滥用。所以看看源码来详细记录一篇属于 logging 模块的文章。 整个 logging 模块的主要部分 1700 来行代码，还是很简单的。我们从实际行为来带大家过下代码 当 阅读全文
摘要：
搭建最新的 Spark 2.3.1 。 首先需要下载最新版 jdk 。目前 2.3.1 需要 8.0 及其以上 jdk 才可以允许。 所以如果你没有 8.0 jdk 安装好了之后会报错。不要尝试安装 8.0 之后的版本 我尝试了这个版本使用 jdk 10 会有问题，所以老老实实使用 jdk8.0 去 阅读全文
摘要：
最近用Maxwell解析MySQL的Binlog，发送到Kafka进行处理，测试的时候发现一个问题，就是Kafka的Offset严重倾斜，三个partition，其中一个的offset已经快200万了，另外两个offset才不到两百。Kafka数据倾斜的问题一般是由于生产者使用的Partition接 阅读全文
摘要：
由于阿里云策略问题，要求用户从经典网络中全部迁出，搬迁到他们设置的 VPC 网络中。这里的 VPC 大概指的是逻辑上的一个虚拟局域网。即使是实际上你的机器垮机房在阿里云的不同机房。但是他们仍然能从逻辑上属于一个 VPC。这次搬迁涉及到的主要问题是，目前手里的机器有很多都不太清楚在做什么，上面的服务是 阅读全文
摘要：
起因： 线上 user 数据库没有自增字段，数据量已经达到百万级。无论是给离线仓库还是数据分析同步数据，没有主键自增 id 都是杀手级的困难。所以在使用 create_time 痛苦了几次之后准备彻底来解决这个问题。 解决问题的思路： 当时理了两个思路，一个是直接找个夜生人静的夜晚，drop 掉目前 阅读全文
摘要：
查看git上个人代码量 统计每个人的增删行数 查看仓库提交者排名前 5 贡献者统计 提交数统计 Reference: https://www.jianshu.com/p/8fd14064c201 git代码行统计命令集 阅读全文
摘要：
这个时候应该怀疑读取都被加锁，应该尝试使用 show processlist 查看每一个正在运行的进程。 可以看到这样一个列表，里面有使用者即用户，正在使用数据库的 host， 使用的 db 目前的 command 运行情况，以及目前运行的时间。可以通过这些信息来排查目前正在使用对应表的是哪台机器上 阅读全文
摘要：
使用 PEEWEE 断断续续的差不多已经三个年头了，但是没有像这次使用这么多的特性和功能，所以这次一并记录一下，需要注意的地方和一些使用细节，之后使用起来可能会更方便。 因为是使用的 SQLAchedemy 的引擎，所以增删改查的语法也很像。 查找方法 cls 这里默认指类对象了 查找单个会使用： 阅读全文
摘要：
目前我们在使用 Maxwell 在读线上机器的 binlog 同步我们的离线数据库。 这次错误定位上，首先线要确定问题是发生在生产者 还是队列 还是消费者。经过查看各机器上任务的运行日志，定位到了问题出在了任务的生产者上。 于是我试图去调看生产者上的 Maxwell 日志。之前一直跑得好好的 Max 阅读全文