大数据开发快速上路,传统运维升级换代

DolphinScheduler+DataX或Chunjun

解决离线大数据任务与实时大数据任务的快速开发,部署,调度。

当然依赖于底层spark,flink,hive,hdfs等大数据基础设施,在CPU,内存等资源充足的情况下,不需要大数据运维和调优。数据量起来之后会有各种问题,要求就更深入了。

但是作为大数据入门框架,或者大数据生产开发最小集,完全满足了大部分业务场景。

对于传统运维,各种shell任务,sql任务,无法量化,体现不出岗位价值,通过平台可以提升开发能力,大数据能力,综合能力,可谓一举多得。

为开源点赞!!

posted @ 2022-12-07 15:01  我爱编程到完  阅读(36)  评论(0编辑  收藏  举报