摘要：
kafka0.8.1 一 问题现象 生产环境kafka服务器134、135、136分别在10月11号、10月13号挂掉： 134日志 [2014-10-13 16:45:41,902] FATAL [KafkaApi-134] Halting due to unrecoverable I/O err 阅读全文
posted @ 2018-11-07 15:25
匠人先生
阅读(2310)
评论(1)
推荐(0)
摘要：
kafka2.0 http://kafka.apache.org 一 简介 Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tole 阅读全文
posted @ 2018-11-06 23:20
匠人先生
阅读(704)
评论(0)
推荐(1)
摘要：
最近用yarn cluster方式提交spark任务时，有时会报错，报错几率是40%，报错如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception: org.apache.spark.sql.Ana 阅读全文
posted @ 2018-11-02 15:01
匠人先生
阅读(2661)
评论(0)
推荐(0)
摘要：
一简介 官网 http://www.quartz-scheduler.org/ What is the Quartz Job Scheduling Library? Quartz is a richly featured, open source job scheduling library tha 阅读全文
posted @ 2018-11-02 11:20
匠人先生
阅读(622)
评论(0)
推荐(0)
摘要：
概括 Azkaban是一个非常轻量的开源调度框架，适合二次开发，但是无法直接用于生产环境，存在致命缺陷（比如AzkabanWebServer是单点，1年多时间没有修复），在一些情景下的行为简单粗暴（比如重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail）， 阅读全文
posted @ 2018-11-02 11:12
匠人先生
阅读(1287)
评论(0)
推荐(2)
摘要：
Azkaban3.45 一 简介 1 官网 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that 阅读全文
posted @ 2018-11-02 11:09
匠人先生
阅读(1943)
评论(0)
推荐(1)
摘要：
Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调度器 Overview Oozie is a workflow scheduler system t 阅读全文
posted @ 2018-11-02 11:05
匠人先生
阅读(2441)
评论(0)
推荐(1)
摘要：
1 集群配置管理 应用服务器的配置通常会放到properties文件中，格式为： system1.module2.prop3=value4 然后启动的时候加载，这样带来的问题是启动后无法修改，想修改必须要重启应用服务器； 一个简单的替代方式是存放到数据库中，应用服务器每次从数据库中加载配置，这样带来 阅读全文
posted @ 2018-11-02 10:56
匠人先生
阅读(292)
评论(0)
推荐(1)
摘要：
提到zookeeper选举算法，就不得不提Paxos算法，因为zookeeper选举算法是Paxos算法的一个变种； Paxos要解决的问题是：在一个分布式网络环境中有众多的参与者，但是每个参与者都不可靠，可能随时掉线等，这时这些参与者如何针对某个看法达成一致； 类似的问题现实生活中有很多，比如一个 阅读全文
posted @ 2018-11-01 17:54
匠人先生
阅读(1061)
评论(0)
推荐(1)
摘要：
核心枚举 public enum ServerState { LOOKING, FOLLOWING, LEADING, OBSERVING; } zookeeper服务器状态：刚启动LOOKING，follower是FOLLOWING，leader是LEADING，observer是OBSERVIN 阅读全文
posted @ 2018-10-31 16:08
匠人先生
阅读(557)
评论(0)
推荐(0)
浙公网安备 33010602011771号