线程池处理批量接口请求实践

在工作中常常遇到需要批量请求接口的场景，比如重置几千个测试账号的密码、给测试账号造一些数据等等场景，都需求进行大量操作。之前采取的单线程串行执行方式，耗时比较长，某次遇到了巨量的数据，故而产生了优化方案。

主要思路分成两种：1.使用Java NIO的HTTP异步请求；2.使用线程池并发执行请求。

最终采用了2方案，原因如下：

• 项目框架中已经默认了同步HTTPclient，兼容异步client改造成本较高
• 方案1难以控制单位时间请求量，会导致服务压力陡增

参考文章：

• 插上NIO翅膀，FunTester飞上天
• Java NIO在接口自动化中应用

思路

总体思路就是使用定长线程池，然后每次把需要执行的任务包装成一个java.lang.Runnable实现类。

• 控制压力：使用定长线程池的线程数
• 线程同步：使用java.util.concurrent.CountDownLatch或者java.util.concurrent.Phaser进行多线程任务同步，最终关闭线程池

参考文章：

• Java线程同步三剑客
• CountDownLatch类在性能测试中应用
• CyclicBarrier类在性能测试中应用
• Phaser类在性能测试中应用

实现

这里分享一下java.util.concurrent.CountDownLatch或者java.util.concurrent.Phaser两种同步类的使用。

java.util.concurrent.CountDownLatch

class MocoReset extends OBase {

    public static void main(String[] args) {
        def keys = DataUtils.getMocoTokens()
        ExecutorService pool = ThreadPoolUtil.createFixedPool(10); //创建定长线程池
        CountDownLatch latch = new CountDownLatch(keys.size()); //创建同步对象
        keys.each {
            def base = getBase(it)
            def balance = new Balance(base)
            pool.execute(() -> {
                balance.reset()
                latch.countDown()
            })
        }
        latch.await()
        pool.shutdown()
    }


}

java.util.concurrent.Phaser

class MocoReset extends Base {

    public static void main(String[] args) {
        def keys = DataUtils.getMocoTokens()
        ExecutorService pool = ThreadPoolUtil.createFixedPool(10); //创建定长线程池
        def phaser = new Phaser(1)
        keys.each {
            def base = getBase(it)
            def balance = new Balance(base)
            pool.execute(() -> {
                phaser.register()
                balance.reset()
                phaser.arriveAndDeregister()
            })
        }
        phaser.arriveAndAwaitAdvance()
        pool.shutdown()
    }


}

总结

多线程编程在测试中使用还是非常犀利的，我自己尝试了一下，线程稳定在10-20是比较安全的。理论计算，效率提高10倍-20倍。

Have Fun ~ Tester ！

• FunTester测试框架架构图初探
• 颇具年代感的《JMeter中文操作手册》
• 140道面试题目（UI、Linux、MySQL、API、安全）
• 图解HTTP脑图
• 分享一份Fiddler学习包
• 测试之JVM命令脑图
• 好书推荐《Java性能权威指南》
• 无数据驱动自动化测试
• HTTP异步连接池和多线程实践
• 绑定手机号性能测试
• 性能测试中集合点和多阶段同步问题初探
• 如何成为全栈自动化工程师
• LT浏览器——响应式网站测试利器
• 简化测试用例