spring boot jdbctemplate queryforstream 使用问题

开发一个功能为了避免内存问题,使用了 jdbctemplate queryforstream,同时日常中会使用链接池,运行一段时间
会出现链接超时的问题

参考示例代码

 
@RestController
public class Api {
 
    @Autowired
    private JdbcTemplate jdbcTemplate;
 
    @GetMapping(value = {"/demo"})
    public Object demo() throws InterruptedException {
        Stream<Conf> streamB = jdbcTemplate.queryForStream(
                "select * from sys.sys_config", new BeanPropertyRowMapper<>(Conf.class));
        System.out.println(streamB.findFirst().get().toString());
        return "ok";
    }
}

问题原因

stream 模式需要显示关闭,否则会造成链接不能释放,链接池会满了,之后就不能使用了,参考内部处理

public <T> Stream<T> queryForStream(String sql, RowMapper<T> rowMapper) throws DataAccessException {
class StreamStatementCallback implements StatementCallback<Stream<T>>, SqlProvider {
    StreamStatementCallback() {
    }
 
    public Stream<T> doInStatement(Statement stmt) throws SQLException {
        ResultSet rs = stmt.executeQuery(sql);
        Connection con = stmt.getConnection();
        return (Stream)(new JdbcTemplate.ResultSetSpliterator(rs, rowMapper)).stream().onClose(() -> {
            JdbcUtils.closeResultSet(rs);
            JdbcUtils.closeStatement(stmt);
            DataSourceUtils.releaseConnection(con, JdbcTemplate.this.getDataSource());
        });
    }
 
    public String getSql() {
        return sql;
    }
}
 
return (Stream)result(this.execute(new StreamStatementCallback(), false));
}

解决&改进

对于stream 进行释放处理,可以声明式关闭或者使用try resource 模式,同时对于系统的监控需要做好,比如集成prometheus

 try(Stream<Conf> streamB = jdbcTemplate.queryForStream(
                "select * from sys.sys_config", new BeanPropertyRowMapper<>(Conf.class))){
           System.out.println(streamB.findFirst().get().toString());
           return "ok";
  }

参考集成

 <dependency>
                        <groupId>org.springframework.boot</groupId>
                        <artifactId>spring-boot-starter-actuator</artifactId>
                </dependency>
                <dependency>
                        <groupId>io.micrometer</groupId>
                        <artifactId>micrometer-registry-prometheus</artifactId>
        /dependency>

配置

management.metrics.use-global-registry=true
management.endpoint.prometheus.enabled=true
management.endpoint.info.enabled=true
management.endpoint.metrics.enabled=true
management.endpoints.web.base-path=/
management.endpoints.web.exposure.include=prometheus,info

效果

 

 

 

 

说明

做好系统的可观测基础奢侈是比较重要的,核心点重点提供metrics,做好及时的报警以及联动机制

参考资料

https://github.com/prometheus/client_java
https://github.com/brettwooldridge/HikariCP
https://micrometer.io/

posted on 2022-07-23 12:25  荣锋亮  阅读(1021)  评论(0编辑  收藏  举报

导航