2018年11月7日
大数据基础之ORC（1）简介
摘要： https://orc.apache.org Optimized Row Columnar (ORC) file 行列混合存储 层次结构： file -> stripes -> row groups(10000 rows) Background Back in January 2013, we cr 阅读全文
posted @ 2018-11-07 18:19 匠人先生 阅读(1972) 评论(0) 推荐(0) 编辑
Java基础之Freemarker（1）模板加载及清空机制
摘要： 一 freemarker加载模版机制 freemarker中的配置项template_update_delay表明模版的缓存时间，单位是s，超过缓存时间则从磁盘加载最新的模版，具体细节如下： 1）freemarker中获取模版的方法在Configuration中： 2）Configuration的g 阅读全文
posted @ 2018-11-07 17:26 匠人先生 阅读(3295) 评论(0) 推荐(0) 编辑
大叔问题定位分享（6）Dubbo monitor服务iowait高，负载高
摘要： 一 问题 Dubbo monitor所在服务器状态异常，iowait一直很高，load也一直很高，监控如下： iowait如图： load如图： 二 分析 通过iotop命令可以查看当前系统中磁盘io情况以及进程占用磁盘io的情况 从中可以定位到占用io进程的pid； 通过 cat /proc/${ 阅读全文
posted @ 2018-11-07 17:11 匠人先生 阅读(1188) 评论(0) 推荐(0) 编辑
大叔问题定位分享（5）Kafka客户端报错SocketException: Too many open files 打开的文件过多
摘要： kafka0.8.1 一 问题 10月22号应用系统忽然报错： [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Soc 阅读全文
posted @ 2018-11-07 16:17 匠人先生 阅读(7449) 评论(2) 推荐(2) 编辑
大叔问题定位分享（4）Kafka集群broker节点从zookeeper上消失
摘要： kafka_2.8.0-0.8.1 一 现象 生产环境一组kafka集群经常发生问题，现象是kafka在zookeeper上的broker节点消失，此时kafka进程和端口都在，然后每个broker都在报错，主要是 1） [2017-01-09 12:40:53,832] INFO Partitio 阅读全文
posted @ 2018-11-07 15:50 匠人先生 阅读(4024) 评论(0) 推荐(0) 编辑
大叔问题定位分享（3）Kafka集群broker进程逐个报错退出
摘要： kafka0.8.1 一 问题现象 生产环境kafka服务器134、135、136分别在10月11号、10月13号挂掉： 134日志 [2014-10-13 16:45:41,902] FATAL [KafkaApi-134] Halting due to unrecoverable I/O err 阅读全文
posted @ 2018-11-07 15:25 匠人先生 阅读(2215) 评论(1) 推荐(0) 编辑