在Docker中使用kettle遇到的问题解决
摘要：随着我司的应用都开始容器化，相应的ETL流程也需要迁移到容器中。常规的SQL和shell脚本迁移之后执行基本没有问题，主要的问题在于数据接入使用kettle的场景下，kettle启动异常。 kettle部署方式 kettle挂载在某台主机的路径下，该路径映射到一个装有Azkaban容器的路径，日常任
阅读全文
posted @ 2020-07-10 15:07
07 2020 档案
整取零存_字段级迁移工具
摘要：6月份的大部分时间在完成一个特殊的数据迁移工具，将文件中的标签整合到关系型数据库的表字段中。从近几年的技术趋势和参与的项目看，基本都是从关系型数据库往大数据组件迁移。在这个项目中，主要是客户和相关应用的供应商依赖于PostgreSQL的GIS插件。因此我也有幸使用了一次PostgreSQL数据库。本
阅读全文
posted @ 2020-07-06 22:02
