6. redis 定时任务手动执行AOF重写（附完整代码）

一、场景描述

跑批服务所使用的的redis集群，数据是每月月初通过定时任务进行更新，由于数据量比较大，每次更新数据耗时较多，为了防止机器宕机数据丢失，必然要考虑redis提供了持久化功能——RDB和AOF。通俗的讲就是将内存中的数据写入硬盘中。上周周末（当时还在执行更新redis的定时任务），运维突然拉群说redis集群所在机器磁盘空间预警，内容如下：

造成这个问题的原因是我们redis集群选用的AOF持久化方式，大家知道AOF文件是文本存储，且不断增长，故redis提供了重写AOF文件的功能，并且我们选用了非自动触发重写的方式。巧合总是不期而遇，出问题的机器磁盘空间是redis集群其它机器的一半，不到1T，且当前集群版本是刚从从3.2升级到7.x，新集群的cluster nodes命令获取的结果不同于老版本（不知道为啥不向下兼容，具体原因后面程序会谈），导致上个月重写AOF的调度程序失败，并且由于redis集群负责的人员离职交接，并未来的及更新告警收件人信息，次失败任务被忽略。。由于不清楚定时任务的代码逻辑，不敢贸然执行（主要是害怕它是并发执行bgrewriteaof），临时解决方法：逐个节点手动执行bfrewriteaof命令，使其重写AOF文件，降低被重写文件大小。

 

 

二、方案描述

目前使用的是7.x版本，但是没有开启多线程功能，还是使用的单线程模式，Redis 单线程架构导致无法充分利用多核 CPU 特性，所以可以在一台机器上部署多个 Redis 实例，故设计了三台机器（单台16核），每台16个节点的分布情况，目前选用AOF持久化方式进行存储。关于持久化的详细内容，可参考我之前写的文章：https://www.cnblogs.com/chenmingming0225/articles/14525456.html，本文主要介绍如何手动实现AOF重写功能，以及顺便实现了手动执行RDB备份的程序。

三、实现细节

3.1 AOF方式重写

本部分主要细节是7.x版本cluster node命令执行结果和3.2版本相比，多出下面标红部分，这也是AOF重写调度任务执行失败的原因：

 

具体其它的细节可参考如下完整代码：

public class HxBgRewriteAofTimer {
    public static void main(String[] args) {
        DateTimeFormatter formatter = DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss");
        String hosts = "192.168.21.116:7310";
        if (args.length > 0) {
            hosts = args[0];
        }
        String taskId = UUID.randomUUID().toString();
        System.out.println("任务开始：" + taskId + " hosts:" + hosts + "  当前时间为:" + LocalDateTime.now().format(formatter));
        try
        {
            String[] firstHosts = StringUtils.split(StringUtils.substringBefore(hosts, ","), ":");
            Jedis zj = new Jedis(firstHosts[0], Integer.parseInt(firstHosts[1]), 2000);
            System.out.println(zj.ping());
            List<String> ips = getClusterNodes(zj);
            System.out.println("当前集群IP：" + Arrays.toString(ips.toArray()));
​
            String host;
            int port;
            for (String ad : ips) {
                String[] ads = StringUtils.split(ad, ":");
                host = ads[0];
                port = Integer.parseInt(ads[1]);
                String hostAndPort = host + ":" + port;
                System.out.println("本次执行的节点为："+ hostAndPort);
​
                Jedis jedis = new Jedis(host, port, 30000);
                String[] persistenceInfo = jedis.info("persistence").split("\n");
                long aofCurrentSize = 0L;
                long aofBaseSize = 0L;
                for (String i : persistenceInfo) {
                    if (i.contains("aof_current_size")) {
                        aofCurrentSize = Long.parseLong(i.split(":")[1].trim());
                    }
                    if (i.contains("aof_base_size")) {
                        aofBaseSize = Long.parseLong(i.split(":")[1].trim());
                    }
                }
                //考虑第一次执行aofBaseSize==0为0的情况
                if (((aofCurrentSize > 0L) && aofBaseSize==0) || ((aofCurrentSize > 0L) && (aofBaseSize > 0L) && ((aofCurrentSize - aofBaseSize) / aofBaseSize > 1L))) {
                    System.out.println(hostAndPort + "  bgrewriteaof：" + jedis.bgrewriteaof());
                    isFinish(jedis, hostAndPort);
                }
            }
            System.out.println("此次任务完成 ：" + taskId + "  当前时间为:" + LocalDateTime.now().format(formatter));
        } catch (Exception e) {
            e.printStackTrace();
            System.out.println("此次任务失败 ：" + taskId + "  hosts:" + hosts + "  当前时间为:" + LocalDateTime.now().format(formatter));
            System.exit(-1);
        }
    }
​
    private static List<String> getClusterNodes(Jedis jedis) {
        ArrayList<String> rs = new ArrayList<>();
        String clusterNodes = jedis.clusterNodes();
        String[] servers = StringUtils.split(clusterNodes, "\n");
        for (String s : servers)
        {
            String[] ss = StringUtils.split(s, " ");
            if (ss.length > 1) {
                //7.x版本cluster nodes命令执行后的集群节点信息是ip:port@71350
                rs.add(ss[1].split("@")[0]);
            }
        }
        return rs;
    }
​
    private static void isFinish(Jedis jedis, String hostAndPort) {
        long start = System.currentTimeMillis();
        for (;;) {
            try {
                Thread.sleep(5000L);
            }
            catch (InterruptedException e) {
                e.printStackTrace();
            }
            String persistenceInfo = jedis.info("persistence");
            if (persistenceInfo.contains("aof_rewrite_in_progress:0")) {
                System.out.println("Background AOF rewrite finished successfully");
                break;
            }
        }
        long useTime = System.currentTimeMillis() - start;
        System.out.println(hostAndPort + " 耗时 " + useTime + " ms");
        try {
            Thread.sleep(5000L);
        }
        catch (InterruptedException e) {
            e.printStackTrace();
        }
    }

3.2、RDB方式备份

既然都实现了AOF重写的程序，顺便也实现一下RDB快照备份的功能吧，很简单，主要思路是逐个节点执行，节点成功的标识是通过命令LASTSAVE判断最新的一条数据刷盘时间(也可同AOF，通过info persistence中的rdb_bgsave_in_progress判断)，代码如下：

public class HxBgSaveTimer {
    public static void main(String[] args) {
        String hosts = "192.168.21.166:7310";
        boolean onlySlaveBgSave = true;
        if (args.length > 0) {
            hosts = args[0];
        }
        if (args.length > 1) {
            onlySlaveBgSave = Boolean.parseBoolean(args[1]);
        }
        SimpleDateFormat format = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");
        String taskId = UUID.randomUUID().toString();
        System.out.println("任务开始：" + taskId + " hosts:" + hosts + "  当前时间为:" + format.format(new Date()));
        try {
            String[] firstHosts = StringUtils.split(StringUtils.substringBefore(hosts, ","), ":");
            Jedis zj = new Jedis(firstHosts[0], Integer.parseInt(firstHosts[1]), 2000);
            System.out.println(zj.ping());
            List<String> ips = getClusterNodes(zj);
            System.out.println("当前集群IP：" + Arrays.toString(ips.toArray()));
​
            String host = "";
            int port = 7310;
            for (String ad : ips) {
                String[] ads = StringUtils.split(ad, ":");
                host = ads[0];
                port = Integer.parseInt(ads[1]);
                String hostAndPort = host + ":" + port;
​
                Jedis jedis = new Jedis(host, port, 30000);
                System.out.println("本次执行的节点为："+ hostAndPort);
                jedis.configSet("save", "");
                long lastSave = jedis.lastsave();
                if (onlySlaveBgSave) {
                    String replication = jedis.info("Replication");
                    if (StringUtils.contains(replication, "role:slave")) {
                        System.out.println(hostAndPort + "  bgsave：" + jedis.bgsave());
                        isFinish(jedis, lastSave, hostAndPort);
                    }
                } else {
                    System.out.println(hostAndPort + "  bgsave：" + jedis.bgsave());
                    isFinish(jedis, lastSave, hostAndPort);
                }
            }
            System.out.println("此次任务完成 ：" + taskId + "  当前时间为:" + format.format(new Date()));
        }
        catch (Exception e) {
            e.printStackTrace();
            System.out.println("此次任务失败 ：" + taskId + "  hosts:" + hosts + "  当前时间为:" + format.format(new Date()));
            System.exit(-1);
        }
    }
​
    private static List<String> getClusterNodes(Jedis jedis) {
        ArrayList<String> rs = new ArrayList<>();
        String clusterNodes = jedis.clusterNodes();
        String[] servers = StringUtils.split(clusterNodes, "\n");
        for (String s : servers)
        {
            String[] ss = StringUtils.split(s, " ");
            if (ss.length > 1) {
                //7.x版本cluster nodes命令执行后的集群节点信息是ip:port@71350
                rs.add(ss[1].split("@")[0]);
            }
        }
        return rs;
    }
​
    private static void isFinish(Jedis jedis, long lastsave, String hostAndPort) {
        long start = System.currentTimeMillis();
        do {
            try {
                Thread.sleep(1000L);
            }
            catch (InterruptedException e) {
                e.printStackTrace();
            }
        } while (jedis.lastsave() == lastsave);
        System.out.println(" Background saving terminated with success");
​
        long useTime = System.currentTimeMillis() - start;
        System.out.println(hostAndPort + " 耗时 " + useTime + " ms");
        try {
            Thread.sleep(5000L);
        }
        catch (InterruptedException e) {
            e.printStackTrace();
        }
    }
}