apache hop kettle 替换方案

apache hop 是一个apache 开源的 kettle替换方案，提供了kettle 任务的导入能力，整体来说目前估计ga 了，而且还算活跃

参考架构

如下图，包含了gui，server，metadata store，runner。。。还是比较完整的

 

支持的功能

• pipeline 开发 
  就是kettle 的转换
• workflow 开发 
  就是kettle 的job
• metadata 
  元数据存储
• hop server 
  就是kettle 的Carte
• 基于vcs 的资源管理 
  实际上就是类似kettle 的文件，或者数据库资源库，但是hop 基于了git 进行管理
• 插件化的开发能力 
  我们可以方便的自己扩展hop

说明

apache hop 提供了kettle 导入能力，可以方便kettle 任务的迁移，同时还提供了基于容器的运行模式，同时还提供了web service 接口
hop 已经与apache beam 进行了集成了，这样我们就可以很好的利用spark 以及flink 周边的能力了，同时hop 还提供了一个sdk（实际与kettle 类似，主要是方便集成到自己的业务系统中）

参考资料

https://hop.apache.org/
https://github.com/apache/hop
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/if-you-know-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/hop-vs-kettle.html
https://hop.apache.org/tech-manual/latest/hop-vs-kettle/import-kettle-projects.html
https://hop.apache.org/dev-manual/latest/sdk/hop-sdk.html