摘要: 计算引擎 大数据计算引擎分为离线计算和实时计算,离线计算就是我们通常说的批计算,代表是Hadoop MapReduce、Hive等大数据技术。实时计算也被称作流计算,代表是Storm、Spark Streaming、Flink等大数据技术。 计算引擎也在不断更新迭代,下图展示的是每一代计算引擎的代表 阅读全文
posted @ 2019-08-05 19:42 oneqhw 阅读(939) 评论(0) 推荐(0) 编辑
摘要: 1. 背景 在分布式集群系统的开发中,线程锁往往并不能支持全部场景的使用,必须引入新的技术方案分布式锁。 2. 原理 实现分布式锁必须依靠第三方存储介质来存储锁的元数据等信息。比如分布式集群要操作某一行数据时,这个数据的流水号是唯一的,那么就把这个流水号作为一把锁的id,当某进程要操作该数据时,先去 阅读全文
posted @ 2019-08-05 19:39 oneqhw 阅读(190) 评论(0) 推荐(0) 编辑