随笔分类 - 数据
摘要：ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS) https://clickhouse.tech/
阅读全文
摘要：OLTP（On-Line Transaction Processing）：联机事务处理 传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，记录即时的增、删、改、查 OLAP（On-Line Analytical Processing）：联机分析处理 是数据仓库系统的主要应用，支持复杂的分析
阅读全文
摘要：DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能 gith
阅读全文
摘要：Talend Open Studio是Talend公司开发的一个数据集成的数据ETL软件 1.下载 https://www.talend.com/products/data-integration-manuals-release-notes/ 我选择的 TOS_DI-20190620_1446-V7
阅读全文
摘要：Kettle自带的任务调度控件 在设置作业的时候可以在start里设置为重复及类型 但是这样会占用很多资源，因为kettle自带的调度控件不会释放资源，所以不要使用自带的 使用系统的定时调度，这样每执行完一次都会释放资源 （1）windows下 电脑，管理，任务计划程序，创建基本任务，指定要执行的b
阅读全文
摘要：kitchen是一个作业执行引擎，用来执行作业 在windows下 eg: Kitchen /file E:\getAndSave.kjb /level Basic /logfile E:\log\22.txt 说明： /file ：指定Kettle的转换文件 /level ：指定日志等级，有下面几
阅读全文
摘要：pan是一个转换执行引擎，用来执行转换 转换可以是Spoon设计出来的ktr格式文件也可以是资源库里的 在windows下 eg: Pan /file E:\zhuanhuan1.ktr /level Basic /logfile E:\log\zhuanhuan1.txt 说明： /file ：指
阅读全文
摘要：启动Spoon 1.新建转换 2.新建DB连接 3.设置 （1）核心对象，拖拽 生成记录，REST client，Json input，插入 / 更新 并依次连接（按shift+鼠标拖拽） （2）编辑生成记录 （3）编辑REST client 设置参数 （4）编辑Json input 说明： 根据数
阅读全文
摘要：获取REST api数据并保存到json文件里 1.新建转换 2.设置 （1）核心对象，拖拽 生成记录，REST client，Json input,Json output 并依次连接（按shift+鼠标拖拽） （2）编辑生成记录 （3）编辑REST client （4）编辑Json input 设
阅读全文
摘要：上次使用Kettle实现了一个简单的转换 PDI（Kettle）的使用一 作业——将多个转换操作按顺序连接起来 启动Spoon 1.创建作业 双击作业 2.设置 （1）核心对象，通用 将开始，转换，结束（Dummy）和成功组件拖拽至作业工作窗口，并依次连接（按shift+鼠标拖拽） （2）创建两个简
阅读全文
摘要：Kettle 是 PDI 以前的名称，PDI 的全称是Pentaho Data Integeration Kettle是ETL中的一个开源工具，Java开发 https://github.com/pentaho/pentaho-kettle ETL是EXTRACT（抽取）、TRANSFORM（转换）
阅读全文