MySQL与Oracle之间互相拷贝数据的Java程序
因为工作需要，先是需要将一个小型的MySQL数据库中的数据拷贝到Oracle中；近期又有需要将一个中型的Oracle数据库拷贝到MySQL中。曾经找过网上各种转换工具，大多收费的，自己写个吧，还一切可控。
转换的前提是两种数据库中已经存在相同的数据结构，可以自己利用SQL语句在目标数据库生成数据结构；或者是使用工具仅生成数据结构（如：DBMover，它是收费的，但可以免费转换数据结构，好像不包括外键，网址：http://dbmover.com/cn/）。
第一个程序，从MySQL拷贝到Oracle
很久以前写的，将一个小型的MySQL数据库中的表拷贝到Oracle数据库中（十万数据量级别，没有优化，大数据量可能很慢）：
package com.clzhang.sample.jdbc; import java.sql.*; /** * 从MySQL数据库拷贝表数据到Oracle数据库中的程序。 * 前提：两个数据库中都具有相关的表，且表结构相同，目标数据库中还不能存在冲突的数据。 * @author acer * */ public class CopyMySQL2Oracle { // 源数据库，目标数据库的连接配置 String mysql_jdbc_url = "jdbc:mysql://localhost/xuejia?user=root&password=password1&useUnicode=true&characterEncoding=gb2312"; String jdbc_url = "jdbc:oracle:thin:@127.0.0.1:1521:orcl"; String jdbc_user = "mytest"; String jdbc_password = "test001"; public void startProcess(String tableName) throws Exception { // 创建到两个数据库的连接 Class.forName("org.gjt.mm.mysql.Driver"); Connection connSource = DriverManager.getConnection(mysql_jdbc_url); Class.forName("oracle.jdbc.driver.OracleDriver"); Connection connDest = DriverManager.getConnection(jdbc_url, jdbc_user, jdbc_password); // 打开源数据库中相关表 StringBuilder sb = new StringBuilder(); sb.append("insert into " + tableName + "("); Statement stmt= connSource.createStatement(); ResultSet rs = stmt.executeQuery("select * from " + tableName); // 显示共计有多少条记录 rs.last(); System.out.println(tableName + "表共计有："+ rs.getRow() + "条记录，正在处理......"); rs.beforeFirst(); // 先计算目标数据库的PreparedStatement的SQL语句 ResultSetMetaData rsmd = rs.getMetaData(); int numberOfColumns = rsmd.getColumnCount(); for(int i=1; i<=numberOfColumns;i++) { sb.append(rsmd.getColumnName(i) + ","); } sb.deleteCharAt(sb.length()-1); sb.append(")values("); for(int i=1; i<=numberOfColumns;i++) { sb.append("?,"); } sb.deleteCharAt(sb.length()-1); sb.append(")"); System.out.println(sb.toString()); // 给PreparedStatement赋值，然后更新；如果是大数量的情况，可以考虑Batch处理。因为这里的数据量小，直接单条更新了。 PreparedStatement pstmt = connDest.prepareStatement(sb.toString()); while(rs.next()) { for(int i=1; i<=numberOfColumns;i++) { pstmt.setObject(i, rs.getObject(i)); } System.out.print("-"); pstmt.executeUpdate(); } // 关闭各资源 rs.close(); stmt.close(); pstmt.close(); connSource.close(); connDest.close(); } public static void main(String[] args) throws Exception { CopyMySQL2Oracle ins = new CopyMySQL2Oracle(); ins.startProcess("PRODUCT"); // ...需要拷贝的表名在下面加入即可，注意顺序，比如有外键的表应该排列在主表之后。 } }
第二个程序，从Oracle拷贝到MySQL
最近写的，一个中小型数据库（百万级别，做了适当优化，仍旧挺慢的）的拷贝程序，供参考吧。
建议在拷贝之前，禁用、或者是删除目标数据库中的相关索引以提高速度；拷贝完成之后，重新建立索引。
package com.clzhang.sample.jdbc; import java.sql.*; /** * 这是一个将Oracle数据库中的数据拷贝到MySQL数据库中的简单程序。 * 仅考虑NUMBER/CHAR/VARCHAR/CLOB/DATE/TIMESTAMP等字段类型。 * BLOB没有考虑（因为我的数据库中没有BLOB字段，无法测试）。 * * 前提：两个数据库中都具有相关的表，且表结构相同，目标数据库中还不能存在冲突的数据。 * @author acer * */ public class CopyOracle2MySQL { // 源数据库，目标数据库的连接配置 private final String DEST_MYSQL_JDBC_URL = "jdbc:mysql://localhost/mybbs?user=root&password=password1&useUnicode=true&characterEncoding=utf-8"; private final String SOURCE_JDBC_URL = "jdbc:oracle:thin:@127.0.0.1:1521:orcl"; private final String SOURCE_JDBC_USER = "mybbs"; private final String SOURCE_JDBC_PASSWORD = "bbs001"; public void startImport() throws Exception { // 创建到两个数据库的连接 Class.forName("org.gjt.mm.mysql.Driver"); Class.forName("oracle.jdbc.driver.OracleDriver"); Connection connDest = DriverManager.getConnection(DEST_MYSQL_JDBC_URL); Connection connSource = DriverManager.getConnection(SOURCE_JDBC_URL, SOURCE_JDBC_USER, SOURCE_JDBC_PASSWORD); // 查询出当前用户下面的所有表，依次处理（如果有外键，建议人工输入各表，以保证顺序；如果没有外键，直接运行下面程序即可。） try { /** // 方式一：自动运行 Statement stmt = connSource.createStatement(); ResultSet rs = stmt.executeQuery("select TABLE_NAME from USER_TABLES"); while(rs.next()) { try { importTable(connSource, connDest, rs.getString("TABLE_NAME")); } catch (Exception e) { e.printStackTrace(); } } rs.close(); stmt.close(); */ // 方式二：人工输入各表名（需要保证顺序，以确保有外键的表在主表之后插入数据） importTable(connSource, connDest, "BBSDETAIL"); importTable(connSource, connDest, "BBSCOMMENT"); } finally { // 自动关闭数据库资源？ connDest.close(); connSource.close(); } } private void importTable(Connection connSource, Connection connDest, String tablename) throws Exception { Statement stmt = null; PreparedStatement pstmt = null; try { // 给PreparedStatement赋值，然后更新；如果是大数量的情况，可以考虑Batch处理。因为这里的数据量小，直接单条更新了。 // 打开源数据库中相关表 StringBuilder insertSQL = new StringBuilder(); insertSQL.append("insert into " + tablename + "("); stmt= connSource.createStatement(); ResultSet rs = stmt.executeQuery("select * from " + tablename); // 先计算目标数据库的PreparedStatement的SQL语句 ResultSetMetaData rsmd = rs.getMetaData(); int numberOfColumns = rsmd.getColumnCount(); for(int i=1; i<=numberOfColumns;i++) { insertSQL.append(rsmd.getColumnName(i) + ","); } insertSQL.deleteCharAt(insertSQL.length()-1); insertSQL.append(")values("); for(int i=1; i<=numberOfColumns;i++) { insertSQL.append("?,"); } insertSQL.deleteCharAt(insertSQL.length()-1); insertSQL.append(")"); System.out.println(insertSQL.toString()); // 计数 int count = 0; // 每多少条记录提交一次，以提高效率 int batchCount = 1000; pstmt = connDest.prepareStatement(insertSQL.toString()); while(rs.next()) { pstmt.clearParameters(); for(int i=1; i<=numberOfColumns;i++) { if(rsmd.getColumnType(i) == java.sql.Types.NUMERIC) { // 2 pstmt.setInt(i, rs.getInt(i)); }else if(rsmd.getColumnType(i) == java.sql.Types.DOUBLE) { // 8 pstmt.setDouble(i, rs.getDouble(i)); }else if(rsmd.getColumnType(i) == java.sql.Types.CHAR || rsmd.getColumnType(i) == java.sql.Types.VARCHAR || rsmd.getColumnType(i) == java.sql.Types.CLOB) { // 1 // 12 // 2005 pstmt.setString(i, rs.getString(i)); }else if(rsmd.getColumnType(i) == java.sql.Types.DATE) { // 91 pstmt.setDate(i, rs.getDate(i)); }else if(rsmd.getColumnType(i) == java.sql.Types.TIMESTAMP) { // 93 pstmt.setTimestamp(i, rs.getTimestamp(i)); }else { pstmt.setObject(i, rs.getObject(i)); } } pstmt.addBatch(); // 输出统计信息 count++; if(count % batchCount == 0) { // 若干条提交一次 System.out.println(); System.out.print("正在更新数据库..."); pstmt.executeBatch(); System.out.println(count); } } if(count % batchCount != 0) { // 最后提交一次 System.out.println(); System.out.print("正在更新数据库..."); pstmt.executeBatch(); System.out.println(count); } rs.close(); } finally { if(stmt != null) stmt.close(); if(pstmt != null) pstmt.close(); } } public static void main(String[] args) throws Exception { CopyOracle2MySQL ins = new CopyOracle2MySQL(); ins.startImport(); } }
