摘要：
前言 最近需要做仪表盘相关的项目，用到了ETL工具Kettle，下载链接：data-integration-kettle，这是一款基于Java开发的工具，当然，Java环境变量相关配置就不在这里说明了，不过相信大家电脑上一般也都配好了环境变量，那么理论上来说应该解压Kettle即可用才对。然而在进行 阅读全文
摘要：
如何查看端口号 cmd命令行 输入mysql -u root -p密码进入mysql 输入show global variables like 'port'; 就可以看到端口号3306 测试数据库链接 报错 错误连接数据库 [ceshi] : org.pentaho.di.core.exceptio 阅读全文
摘要：
第一步：确定是否安装JDK 在控制台输入： java -version 此时说明你电脑安装了JDK。 第二步：查找路径 然后在控制台输入： java -verbose 输出结果： 最后两行就是相应的jdk目录 如果第二步找不到对应的jdk目录，还有一种方式可以快速找到对应的jdk目录，那就是第一步中 阅读全文
摘要：
执行结果 日志：如果出错或者分析过程，可以查看日志 步骤度量：每个图元的读、写数据量，是否已完成，时间、速度等待都会标记 Metrics：可以查看每个步骤耗时，可以用来优化 Preview data：可以用来预览数据 阅读全文
摘要：
Kettle实现，把数据从CSV文件复制到Excel文件。 首先，创建一个转换，找到核心对象，找到输入里面的CVS文件输入图元，拖拽到工作区域，双击CVS文件输入。 可以修改步骤的名称，点击浏览，选择到CVS文件，其他参数可以默认，点击获取字段，最后点击确定。 CVS文件输入配置完毕以后，可以配置E 阅读全文
摘要：
1、应用是转换里面的第五个分类。应用都是一些工具类。 1.1、替换NULL值就是把null转换为其它的值。NULL值不好进行数据分析 1.2、写日志主要是在调试的时候使用，把日志信息打印到日志窗口。 2、流程是转换里面的第六个分类。流程主要用来控制数据流程和数据流向。 2.1、Switch/case 阅读全文
摘要：
1、输出是转换里面的第二个分类。输出属于ETL的L，L就是Load加载。微软的Excel目前有两种后缀名的文件分别为：xls和xlsx。xls:2007年之前。xlsx:2007年之后。 Excel输出、Microsoft Excel输出的区别，Excel输出只能xls后缀名称的文件，Microso 阅读全文
摘要：
、转换是转换里面的第四个分类。转换属于ETL的T，T就是Transform清洗、转换。ETL三个部分中，T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。 2、Concat fields，就是多个字段连接起来形成一个新的字段。 3、 值映射，就是把字段的一个值映射成其他的值。在数据质量规 阅读全文
摘要：
1、kettle里面的输入，就是用来抽取数据或生成数据，是ETL操作的E。 2、CSV文件是一种带有固定格式的文本文件。注意：获取字段的时候可以调整自己的字段类型，格式，满足自己的需求哦。 3、文本文件输入，提取日志信息的数据是开发常见的操作，日志信息基本都是文本类型。 首先要获取到要抽取的文本文件 阅读全文
摘要：
1、什么是ETL? 答：ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我要学习的ETL工具是Kettle！ 2、什么是Kettle？ 答： 阅读全文