随笔分类 -  Azkaban

大叔问题定位分享（39）azkaban定期出现fullgc
摘要：azkaban 3.80.1 现象 azkaban集群中的节点每隔几个月会出现一次fullgc 排查 1 jmap -histo 发现有大量的log4j对象和Hashtable对象，以下为大于1M的对象 num #instances #bytes Class description 1: 10681 阅读全文
posted @ 2021-06-10 10:51 匠人先生 阅读(229) 评论(0) 推荐(0) 编辑
大数据基础之调度框架
摘要：常见调度框架实现方式 开源 Oozie 成熟稳定可靠，可直接用于生产环境 Azkaban 单点、简单粗暴，有两套独立的调度实现，必须二次开发才可用 Airflow 代码以及流程配置都是python 自己封装 基于quartz单机 使用zk来做分布式控制 常用quartz+zk做调度系统 使用db心跳 阅读全文
posted @ 2018-12-12 17:52 匠人先生 阅读(2455) 评论(0) 推荐(1) 编辑
大数据基础之Oozie vs Azkaban
摘要：概括 Azkaban是一个非常轻量的开源调度框架，适合二次开发，但是无法直接用于生产环境，存在致命缺陷（比如AzkabanWebServer是单点，1年多时间没有修复），在一些情景下的行为简单粗暴（比如重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail）， 阅读全文
posted @ 2018-11-02 11:12 匠人先生 阅读(1286) 评论(0) 推荐(2) 编辑
大数据基础之Azkaban（1）简介、源代码解析
摘要：Azkaban3.45 一 简介 1 官网 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that 阅读全文
posted @ 2018-11-02 11:09 匠人先生 阅读(1897) 评论(0) 推荐(1) 编辑

点击右上角即可分享
微信分享提示