摘要：Kettle是Pentaho的一个组件，主要用于数据库间的数据迁移，到我用过的4.2版，还不支持noSQL，不知道4.4是不是支持了。 Kettle自己有三个主要组件：Spoon，Kitchen，Pan。其中Spoon是一个图形化的界面，用于windows的时候，先设置环境变量：pentaho_java_home，例如：C:\Program Files\Java\jdk1.7.0_25，其实就是你的java安装目录，1.6以上即可。windows下双击Spoon.bat就可以了，界面如下： 这里我建立了资源库，其实可以用文件形式存储，存储的结构都是xml，但是我还是觉得建立一个资源库... 阅读全文

摘要：最近建立数据仓库的过程中遇到了若干问题，现总结如下。 1 mysql到oracle的迁移。这是个复杂的问题，因为我们没有计划投资购买datastage这样牛逼的ETL工具，因此最开始我决定自己写代码，将mysql的数据导入文本中，再利用sqlldr将数据导入到oracle中。这个过程说起来并不是很复杂，但是实际操作起来比较烦，因为我遇到了如下的问题： 1.1 NULL值。mysql导出文件的时候null值会被处理为“\N”，这样在入库的时候oracle会直接将它当做一个字符来处理，因此就出现了这样的困扰，我也许还需要在数据导入成功以后进行一次update操作，四五万条数据我也就认了，可... 阅读全文