11 2019 档案

摘要：某日 收到告警 线上集群rm切换 观察resourcemanager 日志报错如下 这行不明显 再看看其他日志报错 在 app attempt_removed 时候发生了空指针错误 break; case APP_ATTEMPT_REMOVED: if (!(event instanceof App 阅读全文

摘要：对一般小公司来说 可能yarn调度能力足够了 但是对于大规模集群1000 or 2000+的话 yarn的调度性能捉襟见肘 恰好网上看到一篇很好的文章https://tech.meituan.com/2019/08/01/hadoop-yarn-scheduling-performance-opti 阅读全文

摘要：背景: 公司将线上hadoop RM接入ZK 实现高可用 但ZK Znode 默认存储1M,当存储数据量大时候可能导致线上业务的崩溃 处理方案如下: 1，修改ZK配置 增加默认存储上限 2，修改RM数据存储在zk中的路径结构 使结构拆分能支撑更大的数据 问题一 修改ZK配置 增加默认存储上限 主要为 阅读全文