使用copy函数完成数据库迁移

最近在该一个迁移工具的迁移方式，从ora8迁移到postgresql使用原来的插入迁移速度太慢了，老板说让使用缓存迁移，即使用postgresql的copy函数，因此去pg官网查阅了相关资料，我们需要迁移的数据量大约有3000万条，需要时间在半个小时之内，这个迁移第一步先把相关的表结构迁移过去，然后开始导入数据，下面是我缓存迁移写的一段代码，核心都在里面：

    private boolean toPostgresql(int tableIndex) throws SQLException, IOException
        {
            int success_flag = 0; // 设置成功标志

            boolean isHasError = false;

            TableConfig tableConfig = (TableConfig) tableConfigList.get(tableIndex);
            ITable destTable = tableConfig.getDestTable(); // 可以通过这个获得目的表的表名字
            ITable srITable = tableConfig.getDestTable();
            // srITable.
            String dest_tablename = destTable.getName().toString();
            String dest_schema = destTable.getSchemaName();

            Statement stmt = null;
            ResultSet rs = null;
            
            Setfetchsize s1=new Setfetchsize();
            try
                {
                    s1.getxml_setfetchsize();
                } catch (ParserConfigurationException e)
                {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                } catch (SAXException e)
                {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
            int stmt_setfetchsize = s1.getSetfetchsize_num();// 设置setfetchsize
            // 取值大小
            stmt = srcConn.createStatement();
            stmt.setFetchSize(stmt_setfetchsize);
            rs = getSrcResultSet(tableConfig, stmt);
            ResultSetMetaData rsmd = rs.getMetaData();// 为了获得字段用的
            // System.out.println("缓存setfetchsize设置为："+stmt_setfetchsize);
            int columnCount = rsmd.getColumnCount(); // 获得字段的个数
            StringBuilder sbuild = new StringBuilder();
            //System.out.println("stmt_setfetchsize实际取值为："+stmt.getFetchSize());
            /**
             * 把结果集的数据拼接成字符串语句，保存到sbulid中 大小受缓存大小影响
             */
            KBCopyOutputStream kb_output = new KBCopyOutputStream((BaseConnection) destConn, "COPY " + dest_schema + "." + dest_tablename + "  FROM STDIN");

            while (rs.next())
                {

                    row_totalnum += 1; // 记录总数据的总行数
                    for (int i = 1; i <= columnCount; i++)
                        {
                            String val = rs.getString(i);
                            int coltype = rsmd.getColumnType(i);
                            // 对字符字段的转义字串进行处理，使其转义效果失效
                            if (coltype == Types.CHAR || coltype == Types.VARCHAR || coltype == Types.NCHAR || coltype == Types.NVARCHAR || coltype == Types.LONGVARCHAR)
                                {
                                    int valen = val.length();
                                    sbuild.ensureCapacity(valen + 4);
                                    for (int j = 0; j < valen; j++)
                                        {
                                            char ch = val.charAt(j);
                                            switch (ch)
                                            {
                                                case '\t' :
                                                    sbuild.append("\\t");
                                                    break;
                                                case '\n' :
                                                    sbuild.append("\\n");
                                                    break;
                                                case '\r' :
                                                    sbuild.append("\\r");
                                                    break;
                                                case '\\' :
                                                    sbuild.append("\\\\");
                                                    break;
                                                default :
                                                    sbuild.append(ch);
                                            }
                                        }
                                } else
                                    sbuild.append(val);

                            if (i < columnCount)
                                sbuild.append('\t');
                        }
                    sbuild.append('\n');

                    String s = sbuild.toString();
                    byte[] bytes = s.getBytes("UTF-8");
                    kb_output.write(bytes);
                    if (row_totalnum % 10 == 0)
                        {
                            successRowNum = 0;
                            addToSuccessNum(row_totalnum);
                        }
                    // System.out.print(s);
                    sbuild.setLength(0);
                }
            kb_output.close();
            success_flag = 1;
            destConn.commit();

            if (success_flag == 1)
                {
                    writeFinishResult(srITable.getFullName(), destTable.getFullName(), row_totalnum, row_totalnum, 0);
                    successRowNum = 0;
                    addToSuccessNum(row_totalnum);
                } else
                    {
                        writeFinishResult(srITable.getFullName(), destTable.getFullName(), row_totalnum, 0, row_totalnum);
                        addToErrorNum(row_totalnum); // copyin执行失败返回错误数
                    }
            writeSteps(" ");
            return !isHasError;
        }

我们的setfetchsize可以自己设置一下，这个目的是减少来回访问oracle拿取数据的开销，具体用法可以查看相关资料，主要是访问的数据量大的时候用的。上面的代码有个小缺陷，就是我把处理过的数据都放到一个stringbuilder里了，当数据量很大超过内存时候，估计就跑不动了，你可以对stringbuilder里的数据进行大小判断一下，当满足的时候commit一下啊就行，这个数据迁移是在一个事务中进行的，所以最后有个commit提交！