11 2018 档案
摘要：http://parquet.apache.org 层次结构： file -> row groups -> column chunks -> pages(data/index/dictionary) Motivation We created Parquet to make the advantag
阅读全文
摘要：https://orc.apache.org Optimized Row Columnar (ORC) file 行列混合存储 层次结构： file -> stripes -> row groups(10000 rows) Background Back in January 2013, we cr
阅读全文
摘要：一 freemarker加载模版机制 freemarker中的配置项template_update_delay表明模版的缓存时间，单位是s，超过缓存时间则从磁盘加载最新的模版，具体细节如下： 1）freemarker中获取模版的方法在Configuration中： 2）Configuration的g
阅读全文
摘要：一 问题 Dubbo monitor所在服务器状态异常，iowait一直很高，load也一直很高，监控如下： iowait如图： load如图： 二 分析 通过iotop命令可以查看当前系统中磁盘io情况以及进程占用磁盘io的情况 从中可以定位到占用io进程的pid； 通过 cat /proc/${
阅读全文
摘要：kafka0.8.1 一 问题 10月22号应用系统忽然报错： [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Soc
阅读全文
摘要：kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题，现象是kafka在zookeeper上的broker节点消失，此时kafka进程和端口都在，然后每个broker都在报错，主要是 1） [2017-01-09 12:40:53,832] INFO Partitio
阅读全文
摘要：kafka0.8.1 一 问题现象 生产环境kafka服务器134、135、136分别在10月11号、10月13号挂掉： 134日志 [2014-10-13 16:45:41,902] FATAL [KafkaApi-134] Halting due to unrecoverable I/O err
阅读全文
摘要：kafka2.0 http://kafka.apache.org 一 简介 Kafka® is used for building real-time data pipelines and streaming apps. It is horizontally scalable, fault-tole
阅读全文
摘要：最近用yarn cluster方式提交spark任务时，有时会报错，报错几率是40%，报错如下： 18/03/15 21:50:36 116 ERROR ApplicationMaster91: User class threw exception: org.apache.spark.sql.Ana
阅读全文
摘要：一简介 官网 http://www.quartz-scheduler.org/ What is the Quartz Job Scheduling Library? Quartz is a richly featured, open source job scheduling library tha
阅读全文
摘要：概括 Azkaban是一个非常轻量的开源调度框架，适合二次开发，但是无法直接用于生产环境，存在致命缺陷（比如AzkabanWebServer是单点，1年多时间没有修复），在一些情景下的行为简单粗暴（比如重启AzkabanExecutorServer会导致该server上正在运行的所有流程fail），
阅读全文
摘要：Azkaban3.45 一 简介 1 官网 https://azkaban.github.io/ Azkaban was implemented at LinkedIn to solve the problem of Hadoop job dependencies. We had jobs that
阅读全文
摘要：Oozie4.3 一 简介 1 官网 http://oozie.apache.org/ Apache Oozie Workflow Scheduler for Hadoop Hadoop生态的工作流调度器 Overview Oozie is a workflow scheduler system t
阅读全文
摘要：1 集群配置管理 应用服务器的配置通常会放到properties文件中，格式为： system1.module2.prop3=value4 然后启动的时候加载，这样带来的问题是启动后无法修改，想修改必须要重启应用服务器； 一个简单的替代方式是存放到数据库中，应用服务器每次从数据库中加载配置，这样带来
阅读全文
摘要：提到zookeeper选举算法，就不得不提Paxos算法，因为zookeeper选举算法是Paxos算法的一个变种； Paxos要解决的问题是：在一个分布式网络环境中有众多的参与者，但是每个参与者都不可靠，可能随时掉线等，这时这些参与者如何针对某个看法达成一致； 类似的问题现实生活中有很多，比如一个
阅读全文
