JAVA从文本文件(txt)读取一百万条数据保存到数据库

Java读取大文本文件保存到数据库

1、追求效率

　　将文件读取到内存，效率比较高，经过测试读取1G左右的文本文件，机器内存消耗达到接近3个G，对内存消耗太大，不建议使用

2、通过调用第三方类库实现

　　通过开源的Apache Commons IO流类库提供的LineIterator对每行数据读取，底层通过jdk中提供的BufferedReader实现，对内存的开销不是很大

3、具体实现步骤

创建java项目引入pom依赖

<!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.4</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/ojdbc/ojdbc -->
        <dependency>
            <groupId>ojdbc</groupId>
            <artifactId>ojdbc</artifactId>
            <version>14</version>
        </dependency>

具体实现代码

package com.sun.file;

import java.io.File;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.Date;

import org.apache.commons.io.FileUtils;
import org.apache.commons.io.LineIterator;

public class ReadCustomerFile {
    
    int idx;
    Connection conn = null;
    PreparedStatement pstmt = null;    
    
    /**
     * 使用commons-io.jar包的FileUtils的类进行读取
     * txt中内容文件的分割必须为|，java中需要加转译符号
     * @Title: readTxtFileByFileUtils 
     * @author sunt  
     * @date 2017年11月13日
     * @return void
     */
    public void readTxtFileByFileUtils(String fileName) {
        File file = new File(fileName);
        
        dbConnection();
        
        try {
            LineIterator lineIterator = FileUtils.lineIterator(file, "UTF-8");
            while (lineIterator.hasNext()) {
                String line = lineIterator.nextLine();
                
                // 行数据转换成数组
                String[] custArray = line.split("\\|");
                insertCustInfo(custArray,"SQLLOADER");
                Thread.sleep(10);
            }
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            dbDisConnection();
        }
    }
    
   /**
    * 数据入库的逻辑需要自己实现
    *  sqlBf.append("INSERT INTO TEMP_CUST_INFO(CUST_NO, CUST_NM, MOB_NO1)                \n");
            sqlBf.append("          VALUES(?                                                    \n");
            sqlBf.append("               , ?                                                    \n");
            sqlBf.append("               , ?)                                                   \n");
            
            拼接sql最后结尾的括号不能丢失
    * @Title: insertCustInfo 
    * @author sunt  
    * @date 2017年11月13日
    * @return void
    */
    public void insertCustInfo(String[] strArray,String tableName) {         
        try {
            StringBuffer sqlBf = new StringBuffer();
            sqlBf.setLength(0);
            
            sqlBf.append("INSERT INTO "+tableName+"(ID, NAME)                \n");
            sqlBf.append("          VALUES(?                                                    \n");
            sqlBf.append("               , ?)                                                   \n");
            
            pstmt = conn.prepareStatement(sqlBf.toString());
            idx = 1;
            pstmt.clearParameters();
           // pstmt.setInt(idx++, Integer.parseInt(strArray[0]));
            pstmt.setString(idx++, strArray[0]);
            pstmt.setString(idx++, strArray[1]);
            
            pstmt.executeUpdate();            
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            if (pstmt != null) {
                try {
                    pstmt.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    
    /**
     * 连接数据库的基本信息
     * @Title: dbConnection 
     * @author sunt  
     * @date 2017年11月13日
     * @return Connection
     */
    public Connection dbConnection() {
        try {
            Class.forName("oracle.jdbc.driver.OracleDriver");
            
            String url = "jdbc:oracle:thin:@192.168.40.30:1521:orcl";  
            String user = "ACTIVITY1";  
            String password = "ACTIVITY1"; 
            
            conn = DriverManager.getConnection(url, user, password);    
            System.out.println("Connection 开启！");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        
        return conn;
    }
    
    /**
     * 关闭数据库的连接
     * @Title: dbDisConnection 
     * @author sunt  
     * @date 2017年11月13日
     * @return void
     */
    public void dbDisConnection() {
        if (conn != null) {
            try {
                conn.close();
                System.out.println("Connection 关闭！");
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
    
    //测试代码
    public static void main(String[] args) {
        ReadCustomerFile rcf = new ReadCustomerFile();
        Long startTime = new Date().getTime();
        rcf.readTxtFileByFileUtils("F:\\lc_test.txt");
        System.out.println("导入数据总共耗时:" + (new Date().getTime() - startTime)/1000 + "秒");
    }
}

导入的文件模板(大约100百万模拟数据)，以|作为分隔符

导入数据库成功

注意事项:

　　需要修改自己的数据库连接信息和指定导入文本文件的路径，insertCustInfo方法需要自己修改实现