05 2020 档案

摘要:跑spark job的时候碰到了错误: 2020-04-23 15:25:05 INFO BlockManagerMaster:54 - Removal of executor 27 requested 2020-04-23 15:25:05 INFO BlockManagerMasterEndpo 阅读全文
posted @ 2020-05-25 08:31 小1 阅读(622) 评论(0) 推荐(0)
摘要:之前试用了azkaban一小段时间,虽然上手快速方便,但是功能还是太简单,不够灵活。 Airflow使用代码来管理任务,这样应该是最灵活的,决定试一下。 我是python零基础,在使用airflow的过程中可谓吃尽了苦头。。好歹最后实现所有要求,两三周的时间没有白费 看完这篇文章,可以达到如下目标: 阅读全文
posted @ 2020-05-24 13:34 小1 阅读(11441) 评论(0) 推荐(0)