摘要：
本样例实现源库的所有表到目标库的同步sqlserver=>mysql（目标表存在表结构则同步），总调度如下： 由于复制记录到结果保存了多个表名，存在多个值，在高级选择对每个输入行执行一次进行循环 转换：获取表 复制记录到结果 （Copy rows to result ） : 这个步骤允许你在一个任务 阅读全文
posted @ 2018-10-29 16:58 打杂滴 阅读(1630) 评论(0) 推荐(0) 编辑
2018年10月29日
2018年10月25日
摘要：
PowerDesigner是Sybase的企业建模和设计解决方案，采用模型驱动方法，将业务与IT结合起来，可帮助部署有效的企业体系架构，并为研发生命周期管理提供强大的分析与设计技术。PowerDesigner独具匠心地将多种标准数据建模技术（UML、业务流程建模以及市场领先的数据建模）集成一体，并与 阅读全文
posted @ 2018-10-25 11:25 打杂滴 阅读(455) 评论(0) 推荐(0) 编辑
2018年10月22日
摘要：
varchar只分配真正的需要的空间 尽量使用timestamp而不是datetime 单表不要太多字段 避免null字段，很难优化且占用额外空间 用整形拍存放ip select INET_ATON("192.168.10.152") ip转为整形select INET_NTOA("32322382 阅读全文
posted @ 2018-10-22 11:32 打杂滴 阅读(89) 评论(0) 推荐(0) 编辑
2018年10月16日
摘要：
Dummy步骤不会做任何事情。它的主要功能是作为以测试为目的的占位符。 追加流 分析查询（前后行查询），步骤：增加常量数据包括id,name连个字段，增加自增列autoid字段，按id,outid进行升序排列，使用分析查询，按ID分组获取每行的前后行数据 阻止执行直到某步骤执行完 分组 计算器 判断 阅读全文
posted @ 2018-10-16 15:56 打杂滴 阅读(1829) 评论(0) 推荐(0) 编辑
2018年10月12日
摘要：
1.新建转换databasejoin 2.添加两个db连接 mysql的db连接kettlemysql以及sqlserver2008的db连接kettlesql 前提是在\data-integration\lib目录下要有mysql-connector-java-5.1.39.jar以及jtds-1 阅读全文
posted @ 2018-10-12 16:41 打杂滴 阅读(2900) 评论(0) 推荐(0) 编辑
摘要：
下载 pdi-ce-7.0.0.0-25.zip 解压 安装jdk 1.7以上的版本 配置环境变量 下载并将mysql-connector-java-5.1.39.jar 拷贝到 \data-integration\lib目录下 1.新增转换命名为testsetvar,保存的文件名为testsetv 阅读全文
posted @ 2018-10-12 15:25 打杂滴 阅读(1686) 评论(0) 推荐(0) 编辑
2018年10月9日
摘要：
kettle 水壶 正如其名“水壶”，将各个地方的水倒进水壶里，再用水壶倒入不同的容器。 勺子－Spoon.bat/spoon.sh 图形界面工具，就是启动上图主界面的命令行。 ketchen 厨房 pan 平底锅 作业脚本的后缀是kjb，转换脚本的后缀是ktr jdk环境变量的配置 新建系统变量J 阅读全文
posted @ 2018-10-09 13:51 打杂滴 阅读(269) 评论(0) 推荐(0) 编辑
摘要：
从上层来看，每个Spark 应用都由一个驱动器程序（driver program）来发起集群上的各种并行操作。驱动器程序包含应用的main 函数，并且定义了集群上的分布式数据集，还对这些分布式数据集应用了相关操作。 驱动器程序通过一个SparkContext 对象来访问Spark。这个对象代表对计算 阅读全文
posted @ 2018-10-09 11:26 打杂滴 阅读(137) 评论(0) 推荐(0) 编辑