12 2018 档案
摘要：前言 Spark作为计算引擎每天承载了大量的计算任务，为了监控集群的资源使用情况，对spark的监控也在所难免，Spark的监控有3个入口，1. Rest; 2.另一个是Metrics; 3. Log。 Rest 参考spark的rest接口文档 http://spark.apache.org/do
阅读全文
摘要：前言 flink作为基于流的大数据计算引擎，可以说在大数据领域的红人，下面对flink-1.7的架构进行逻辑上的分析并和spark做了一些关键点的对比。 架构 如图1，flink架构分为3个部分，client，JobManager（简称jm）和TaskManager（简称tm）。client负责提交
阅读全文
摘要：前言 区别于java设计模式，下面介绍的是在多线程场景下，如何设计出合理的思路。 不可变对象模式 场景 1. 对象的变化频率不高 每一次变化就是一次深拷贝，会影响cpu以及gc，如果频繁操作会影响性能 2. 作为hashmap的key key如果是可变的，那么会无法从hashmap中找到原来的数据
阅读全文
摘要：前言 最近被大佬问到一个问题，hbase查询数据在最坏的场景下需要进行几次rpc，当时就懵了..下面主要对client端代码进行分析。阅读文章和看源码更配~ 读数据 流程总览 1. 从zookeeper中获取meta信息，并通过meta信息找到需要查找的table的startkey所在的region
阅读全文
摘要：前言 一直以来，对java对象大小的概念停留在基础数据类型，比如byte占1字节，int占4字节，long占8字节等，但是一个对象包含的内存空间肯定不只有这些。 假设有类A和B，当new A()或者new B()后，实际占用的java内存是多大呢？下面就对此进行详细分析。 对象大小分析 如图1，ja
阅读全文
