myBatis 流式查询，大数据量查询

myBatis-plus/myBatis 流式查询，大数据量查询

myBatis这个开源框架的好处就不再赘述， myBatis-plus则更是myBatis的增强工具，框架给我提供很多查询数据方式，非常方便， 这里就介绍一下流式查询，也就是游标的方式去查询。

我们在完成工作的途中会遇到大数据量的查询，比如大量数据的导出等等，我们直接用list() 方法去查询的话， 会很慢很卡，因为框架耗费大量的时间和内存去把数据库查询的大量数据封装成我们想要的实体类，在这个过程中很可能使我们的项目报内存溢出 OOM(out of memory) 的异常,所以这个时候我们需要用框架的原生数据查询了，如下：

把整理类都给出来，方便在查找问题，屏蔽了部分本地路径

1. mapper

package com.***.mapper;

import com.***.OrgData;
import com.baomidou.mybatisplus.core.conditions.query.QueryWrapper;
import com.baomidou.mybatisplus.core.mapper.BaseMapper;
import com.baomidou.mybatisplus.core.toolkit.Constants;
import org.apache.ibatis.annotations.*;
import org.apache.ibatis.mapping.ResultSetType;
import org.apache.ibatis.session.ResultHandler;

/**

 * @Author sugar
 */
@Mapper
public interface OrgDataMapper extends BaseMapper<OrgData> {


    @Select("select * from org_data t ${ew.customSqlSegment}")
    @Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = 1000)
    @ResultType(OrgData.class)
    void getOrgWithBigData(@Param(Constants.WRAPPER) QueryWrapper<OrgData> wrapper, ResultHandler<OrgData> handler);



}

123456789101112131415161718192021222324252627

注释：

@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = 1000)
1

• ResultSetType.FORWARD_ONLY 表示游标只向前滚动
• fetchSize 每次获取量

 @ResultType(OrgData.class)
1

1. 转换成返回实体类型

注意： 返回类型必须为void 哦，因为在handler里处理数据，所以这个hander 也是必须的

2. mapper调用使用

        orgDataMapper.getOrgWithBigData(queryWrapper,resultContext -> {

            OrgData orgData = resultContext.getResultObject();
           //这边循环调用就可以实现业务了
}
123456

end

背景

对大量数据进行处理时，为防止内存泄漏情况发生，所以采用mybatis plus游标方式进行数据查询处理，当查询百万级的数据的时候，使用游标可以节省内存的消耗，不需要一次性取出所有数据，可以进行逐条处理或逐条取出部分批量处理

mapper层

1. 使用Cursor类型进行数据接收
2. @Options，fetchSize设置为Integer最小值
3. @Select，写查询sql

@Options(resultSetType = ResultSetType.FORWARD_ONLY, fetchSize = Integer.MIN_VALUE)
@Select("select domain from illegal_domain where icpstatus != #{icpstatus}")
Cursor<IllegalDomain> getDayJobDomain(@Param("icpstatus") Integer icpstatus);
123

service层

Cursor<IllegalDomain> domainList = illegalDomainMapper.getDayJobDomain(1);
1

数据处理

1. forEach方式

domainList.forEach(illegalDomain -> {
    //处理逻辑，根据业务需求自行完成
    Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
    results.add(future);
});
12345

2. 迭代器

Iterator<IllegalDomain> iter = domainList.iterator();

while (iter.hasNext()) {

    <!--// Fetch next 10 employees-->
    <!--for(int i = 0; i<10 && iter.hasNext(); i++) {-->
    <!--    smallChunk.add(iter.next());-->
    <!--}-->
    
    //处理逻辑，根据业务需求自行完成
    Future<IcpStatusVo> future = checkIcpThreadPool.submit(new IcpCheckThread(illegalDomain.getDomain(), configMap));
    results.add(future);
}
12345678910111213

资源释放

使用完毕后，在finally块释放资源，否则游标不关闭也可能会导致内存溢出问题

try{
    //your code
    
} catch (Exception e) {
    log.error(e);
} finally {
    if(null != domainList){
        try {
            domainList.close();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}
1234567891011121314