PGET，一个简单、易用的并行获取数据框架

使用场景

当我们的服务收到一个请求后，需要大量调用下游服务获取业务数据，然后对数据进行转换、计算后，响应给请求方。

如果我们采用串行获取下游数据，势必会增加响应时长，降低接口的qps。如果是并行获取下游数据，则是不错的。

最直接想到的并行获取方法，无非是将一个个获取数据的方法封装成一个个task，然后放到线程池里执行。但这种没经过设计的使用方式，易用性很低，可复用性也很低。

经本人在实际的业务系统中，多次思考与设计。终于设计出当前这个框架。

特点：绝对的简单、绝对的易用。

相关概念

• BizData

业务数据对象。用于将下游获取到的数据封装到此对象中。

开发者需自定义给对象，并实现IBizData接口

• BizDataProvider

业务数据对象提供者。此对象类似于分成结构中的Service层，其调用下游数据源(可以是rpc调用等)将得到的数据封装到BizData对象中。

此类需要添加@BizDataProvider注解。其方法返回值一定要是BizData对象

使用

在spring的xml中配置：

<!-- 初始化框架，并设置用于并行获取业务数据的线程池配置  -->
    <bean class="com.dyz.pget.core.BizDataManager" init-method="init" destroy-method="destroy">
        <property name="corePoolSize" value="12"/>
        <property name="maximumPoolSize" value="200"/>
        <property name="keepAliveTime" value="0"/>
        <property name="queueSize" value="1000"/>
    </bean>

第一步：自定义BizData对象

public class UserInfoBizData implements IBizData{
    private Long userId;
    private String name;
    private Integer age;

    /**
     * 必须提供默认构造参数
     */
    public UserInfoBizData() {
    }

    public UserInfoBizData(Long userId, String name, Integer age) {
        this.userId = userId;
        this.name = name;
        this.age = age;
    }

    /**
     * 如果此数据对象获取失败时的默认兜底值。如果不支持兜底，则返回null即可。
     * @return
     */
    @Override
    public IBizData defaultBizData() {
        return null;
    }

    @Override
    public String format2String() {
        return new StringBuilder()
                .append("ID:").append(userId)
                .append(",名字:").append(name)
                .append(",年龄:").append(age)
                .toString();
    }
}
//篇幅问题，此处只贴了一个BizData的代码

第二步：编写对应的BizDataProvider

@BizDataProvider
public class TestBizDataProvider {

    /**
     * 异常要抛出，框架会捕获
     * @param userId
     * @return
     * @throws Exception
     */
    public UserInfoBizData getUserInfoBizData(long userId)throws Exception{
        //调用远程rpc或者其他数据源得到数据，并封装到Test1BizData对象中
        return new UserInfoBizData(userId,"张三",20);
    }

    public ProductInfoBizData getProductInfoBizData(long shopId,long productId)throws Exception{
        //调用远程rpc或者其他数据源得到数据，并封装到ProductInfoBizData对象中
        return new ProductInfoBizData(productId,shopId,"啤酒");
    }
}

第三步：获取数据

①Getter模式：

使用案例代码：

　　@Test
    public void testGetter() throws BizDataFetchException {
        long userId = 1345L;
        long shopId = 11L;
        long productId = 11011L;
        //并行获取用户信息、商品信息、门店信息三个数据。超时时间是100毫秒
        List<IBizData> bizDataList = BizDataGetter.build()
                .get(UserInfoBizData.class,userId)
                .get(ProductInfoBizData.class,shopId,productId)
                .get(ShopInfoBizData.class,shopId)
                .doGet(100L);

        UserInfoBizData userInfoBizData = (UserInfoBizData)bizDataList.get(0);
        ProductInfoBizData productInfoBizData = (ProductInfoBizData)bizDataList.get(1);
        ShopInfoBizData shopInfoBizData = (ShopInfoBizData)bizDataList.get(2);

        System.out.println(userInfoBizData.format2String());
        System.out.println(productInfoBizData.format2String());
        System.out.println(shopInfoBizData.format2String());
    }

②Injector模式：

定义一个数据包裹对象，存放所需要的数据对象

public class BizDataWrapper {
    private UserInfoBizData userInfoBizData;
    private ShopInfoBizData shopInfoBizData;
    private ProductInfoBizData productInfoBizData;


    public UserInfoBizData getUserInfoBizData() {
        return userInfoBizData;
    }

    public ShopInfoBizData getShopInfoBizData() {
        return shopInfoBizData;
    }

    public ProductInfoBizData getProductInfoBizData() {
        return productInfoBizData;
    }
}

使用案例代码：

　　@Test
   public void testGetter() throws BizDataFetchException {
        long userId = 1345L;
        long shopId = 11L;
        long productId = 11011L;
        BizDataWrapper bizDataWrapper = new BizDataWrapper();
        //并行获取用户信息、商品信息、门店信息三个数据。并注入到bizDataWrapper中，以方便使用。超时时间是100毫秒
        BizDataInjector.build(bizDataWrapper)
                .inject(UserInfoBizData.class,userId)
                .inject(ProductInfoBizData.class,shopId,productId)
                .inject(ShopInfoBizData.class,shopId)
                .doInject(100L);
        
        System.out.println(bizDataWrapper.getUserInfoBizData().format2String());
        System.out.println(bizDataWrapper.getProductInfoBizData().format2String());
        System.out.println(bizDataWrapper.getShopInfoBizData().format2String());
    }

 

结尾

相信你使用后，一定会觉着简单易用。

不多说了，贴上github地址：https://github.com/yongzhidai/pget

注：使用时，没必要把源代码粘到业务系统中，自己打个jar包，让业务系统依赖下就OK了。