对Datax的理解
摘要：
DataX 作为一款离线数据同步软件，实现了包括 MySQL、Oracle、HDFS、Hive、HBase（只列举了我目前为止使用到的数据库） 等各种异构数据源之间高效的数据同步功能。 DataX的设计采用了框架 + 插件 的模式，目前已开源，代码托管在github中。 阅读全文
posted @ 2020-03-10 08:52 小朝~~~ 阅读(462) 评论(0) 推荐(0) 编辑
2020春季学期第三周总结
摘要：
Kettle纯java编写，在Windows、Linux、Unix上都可以运行，数据抽取高效稳定。中文名称叫水壶，把各种数据放到一个壶里，然后以一种指定的格式流出。 这一周主要熟悉了kettle的使用，包括对数据文件导入，拆分，重组，导入MySQL数据库；相比于之前使用的mapreduce算法，这个 阅读全文
posted @ 2020-03-10 08:43 小朝~~~ 阅读(142) 评论(0) 推荐(0) 编辑
