临时表的问题

在做批量导入功能的时候,从页面导入excel文件,后台java程序读取文件内容存入一个List,然后将List数据做一些处理然后插入一张数据表,由于数据量较大,所以借助临时表,先将List做处理插入临时表,然后将临时表数据复制到要插入的数据表中。

整个过程分这样几步:

1.调用存储过程创建临时表

2.java程序将读取的excel文件内容放入List,将List做处理然后插入到临时表(这个过程是在java程序里面做的)

3.调用存储过程将临时表数据复制到要插入的数据表

4.调用存储过程删除临时表

思路是这样没错,但是实际操作的时候出现这样一个问题,创建临时表后,在后面的2、3、4步都随机性的报错临时表不存在。当时百思不得其解,因为公司另外一个项目里面也是这样做过的,功能一点问题也没有,后来我又仔细对比了两个项目的相关java代码,也没发现有什么不同,基本排除了java代码出问题的可能,那么就剩下数据连接的问题了,考虑到是不是数据连接池配置不同,然后又查看了数据连接池配置文件,果然,两个项目用的数据连接池是不同的,当前项目用的连接池是com.mchange.v2.c3p0.ComboPooledDataSource,原来那个项目用的连接池是org.apache.commons.dbcp.BasicDataSource,我把当前项目连接池配置修改成org.apache.commons.dbcp.BasicDataSource,重新测试就没有出现问题了


<!-- 会报错的数据连接池配置 -->

<!-- 加载数据库连接文件 -->
<context:property-placeholder location="classpath:jdbc.properties" ignore-unresolvable="true" />
<!-- 设置数据库连接池 -->
 <bean id="dataSource" class="com.mchange.v2.c3p0.ComboPooledDataSource" parent="c3p0DataSource">
      <property name="driverClass" value="${jdbc.driver}" />
      <property name="jdbcUrl" value="${jdbc.url}" />
      <property name="user" value="${jdbc.username}" />
      <property name="password" value="${jdbc.password}" />
</bean>
<bean id="c3p0DataSource" abstract="true">
        初始化连接池中的连接数,取值应在minPoolSize与maxPoolSize之间,默认为3
        <property name="initialPoolSize" value="3" />
        连接池中保留的最小连接数,默认为:3
        <property name="minPoolSize" value="3" />
        连接池中保留的最大连接数。默认值: 15 
        <property name="maxPoolSize" value="1000" />
        最大空闲时间,*秒内未使用则连接被丢弃。若为0则永不丢弃。默认值: 0 
        <property name="maxIdleTime" value="60" />
        每360秒检查所有连接池中的空闲连接。默认值: 0,不检查
        <property name="idleConnectionTestPeriod" value="60" />
        定义所有连接测试都执行的测试语句。在使用连接测试的情况下这个一显著提高测试速度。注意: 测试的表必须在初始数据源的时候就存在。Default: null 
        <property name="preferredTestQuery" value="select 1" />
        当连接池中的连接耗尽的时候c3p0一次同时获取的连接数。默认值: 3
        <property name="acquireIncrement" value="5" />
        定义在从数据库获取新连接失败后重复尝试的次数。默认值: 30 ;小于等于0表示无限次
        <property name="acquireRetryAttempts" value="50" />
        重新尝试的时间间隔,默认为:1000毫秒   
        <property name="acquireRetryDelay" value="1000" />
        获取连接失败将会引起所有等待连接池来获取连接的线程抛出异常。但是数据源仍有效 保留,并在下次调用getConnection()的时候继续尝试获取连接。如果设为true,那么在尝试 
        获取连接失败后该数据源将申明已断开并永久关闭。Default: false
        <property name="breakAfterAcquireFailure" value="false" />
        当连接池连接耗尽时,客户端调用getConnection()后等待获取新连接的时间,超时后将抛出SQLException,如设为0则无限期等待。单位毫秒。默认: 0
        <property name="checkoutTimeout" value="20000" />
         关闭连接时,是否提交未提交的事务,默认为false,即关闭连接,回滚未提交的事务  
        <property name="autoCommitOnClose" value="false" />
        Strongly disrecommended. Setting this to true may lead to subtle and bizarre bugs. (文档原文)作者强烈建议不使用的一个属性 
        <property name="forceIgnoreUnresolvedTransactions" value="false" />
        自动超时回收Connection
        <property name="unreturnedConnectionTimeout" value="1000" />
        c3p0全局的PreparedStatements缓存的大小。如果maxStatements与maxStatementsPerConnection均为0,则缓存不生效,只要有一个不为0,则语句的缓存就能生效。如果默认值: 0
        <property name="maxStatements" value="0" />
        maxStatementsPerConnection定义了连接池内单个连接所拥有的最大缓存statements数。默认值: 0  
        <property name="maxStatementsPerConnection" value="0" />
        如果设为true那么在取得连接的同时将校验连接的有效性。Default: false 
        <property name="testConnectionOnCheckin" value="true" />
        因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的 时候都将校验其有效性。建议使用idleConnectionTestPeriod或automaticTestTable 
        等方法来提升连接测试的性能。Default: false 
        <property name="testConnectionOnCheckout" value="false" />
        早期的c3p0版本对JDBC接口采用动态反射代理。在早期版本用途广泛的情况下这个参数 允许用户恢复到动态反射代理以解决不稳定的故障。最新的非反射代理更快并且已经开始 
        广泛的被使用,所以这个参数未必有用。现在原先的动态反射与新的非反射代理同时受到 支持,但今后可能的版本可能不支持动态反射代理。Default: false 
        <property name="usesTraditionalReflectiveProxies" value="false" />
        c3p0是异步操作的,缓慢的JDBC操作通过帮助进程完成。扩展这些操作可以有效的提升性能 通过多线程实现多个操作同时被执行。Default: 3 
        <property name="numHelperThreads" value="5" />
</bean>

<!-- 修改后的数据连接池配置 -->

<!-- 加载数据库连接文件 -->
    <context:property-placeholder location="classpath:jdbc.properties" ignore-unresolvable="true" />
<!-- 设置数据库连接池 -->
<bean id="dataSource" class="org.apache.commons.dbcp.BasicDataSource">
        <property name="driverClassName" value="${jdbc.driver}" />
        <property name="url" value="${jdbc.url}" />
        <property name="username" value="${jdbc.username}" />
        <property name="password" value="${jdbc.password}" />
        <property name="maxActive" value="100"></property>
        <property name="maxIdle" value="30"></property>
        <property name="maxWait" value="500"></property>
        <property name="defaultAutoCommit" value="true"></property>
</bean>

出现我这种问题,应该是这两种连接池本身对于临时表的机制不同,com.mchange.v2.c3p0.ComboPooledDataSource应该是在存储过程里面创建临时表,存储过程执行完就自动将临时表销毁了,而org.apache.commons.dbcp.BasicDataSource应该是在会话结束的时候才销毁临时表,不过这个只是个人猜想,没有经过验证,如果有哪位大神知道具体情况,麻烦评论里面告诉我一下

 

posted @ 2016-03-25 10:59  风归云隐  阅读(1583)  评论(2编辑  收藏  举报