摘要：
还在为开发Flink流处理应用程序时无法像开发Spring Boot程序那么优雅的分层以及装配Bean而烦恼吗？ 你可能面临如下苦恼： 开发的Flink流处理应用程序，业务逻辑全部写在Flink的操作符中，代码无法服用，无法分层 要是有一天它可以像开发Spring Boot程序那样可以优雅的分层，优 阅读全文
摘要：
摘要:Storm的编程模型是一个有向无环图，决定了storm的spout接收到外部系统的请求后，spout并不能得到bolt的处理结果并将结果返回给外部请求。所以也就决定了storm无法提供对外部系统的同步调用功能。 最近新的黑名单项目需要在storm实时计算平台上提供对外部系统请求调用的同步响应（ 阅读全文
摘要：
mapTask并行度的决定机制 一个job的map阶段并行度由客户端在提交job时决定，而客户端对map阶段并行度的规划的基本逻辑为：将待处理数据执行逻辑切片（即按照一个特定切片大小，将待处理数据划分成逻辑上的多个split），然后每一个split分配一个mapTask并行实例处理。 FileInp 阅读全文
摘要：
Hbas预分区 在系统中向hbase中插入数据时，常常通过设置region的预分区来防止大数据量插入的热点问题，提高数据插入的效率，同时可以减少当数据猛增时由于Region split带来的资源消耗。大量的预分区数量会导致hbase客户端缓存大量的分区地址，导致内存的增长，某些系统中一个JVM进程中 阅读全文
摘要：
序：RPC就是使用socket告诉服务端我要调你的哪一个类的哪一个方法然后获得处理的结果。服务注册和路由就是借助第三方存储介质存储服务信息让服务消费者调用。然我们自己动手从0开始写一个rpc功能以及实现服务注册，动态上下线，服务路由，负载均衡。 一句话明白RPC原理 RPC即远程过程调用，它的实现方 阅读全文
摘要：
还在为开发Flink流处理应用程序时无法像开发Spring Boot程序那么优雅的分层以及装配Bean而烦恼吗？ 你可能面临如下苦恼： 开发的Flink流处理应用程序，业务逻辑全部写在Flink的操作符中，代码无法服用，无法分层 要是有一天它可以像开发Spring Boot程序那样可以优雅的分层，优 阅读全文
摘要：
初始化state类 //org.apache.flink.streaming.runtime.tasks.StreamTask initializeState initializeState(); private void initializeState() throws Exception { 阅读全文
摘要：
在Core Java中有这样一句话："没有任何语言方面的需求要求一个被中断的程序应该终止。中断一个线程只是为了引起该线程的注意，被中断线程可以决定如何应对中断 " 线程中断不会使线程立即退出，而是给线程发送一个通知，告知目标线程有人希望你退出。至于目标线程接收到通知后如何处理，则完全由目标线程自行决 阅读全文
摘要：
flink读取source data 数据的来源是flink程序从中读取输入的地方。我们可以使用StreamExecutionEnvironment.addSource（sourceFunction）将源添加到程序中。 flink附带大量预先实现好的各种读取数据源的函数，也可以通过为非并行源去实现S 阅读全文
摘要：
一致性Hash热点 一致性Hash算法是来解决热点问题，如果虚拟节点设置过小热点问题仍旧存在。 关于一致性Hash算法的原理我就不说了，网上有很多人提供自己编写的一致性Hash算法的代码示例，我在跑网上的代码示例发现还是有热点问题。为此我翻阅了Jedis的ShardedJedis类的源码把它的一致性 阅读全文
摘要：
[TOC] 一个成功的java项目标准并不仅仅是业务功能实现，但是纵观国内，很多项目组在前期项目开发设计中只考虑了业务功能，没有考虑项目后期维护的监控设计。没有完善的监控运维设计，项目存活的寿命应该也不长吧？好的项目能够吸引人留下来，并不断强化项目的功能优化每一处代码，坏的项目只会逼死人，不断的增加 阅读全文
摘要：
应用程序出现OOM异常，你是否仍然通过看日志的方式去排查问题（该方式定位解决问题是大概率的巧合而已）？正确的排查方案是进行dump文件分析，你知道为什么吗？ [TOC] OOM异常 intsmaze 首先说一下，本人在开发中遇到的OOM异常基本也是通过看log日志去定位的（很多OOM异常是因为出现死 阅读全文
摘要：
序:使用java的Map做缓存，你是否考虑过容量导致的OOM问题，是否考虑命中率对性能的影响？？ [TOC] 应用系统开发中，我们经常会使用redis,memcache等第三方框架做缓存的解决方案，有的时候我们的需求以及应用场景并不是那么复杂，而且交付日期已经秒计了。我们怎么敢在现有的应用中引入第三 阅读全文
摘要：
spark SQL经常需要访问Hive metastore，Spark SQL可以通过Hive metastore获取Hive表的元数据。从Spark 1.4.0开始，Spark SQL只需简单的配置，就支持各版本Hive metastore的访问。注意，涉及到metastore时Spar SQL忽 阅读全文