随笔分类 - 架构
摘要：Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个砖，介绍Ozone的产生背景，主要架构和功能。 背景 HDFS是业界默认的大数据存储系统，在业界的大数
阅读全文
摘要：Hadoop分布式文件系统（HDFS）从Hadoop出现到现在已有了10多个年头。HDFS的出现和成熟为企业提供了廉价的海量数据存储方案，大数据存储不再是“王谢堂前燕”，而真正地“飞入”了各个公司。但是10多年的时间，IT软硬件架构、企业部署已经发生了翻天覆地的变化，在这些新的变革下，HDFS露出了
阅读全文
摘要：
Data Lakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。那么何为Data Lakehouse呢，它具备些什么特性呢？ 具备哪些特性？ 一直以来，我们都
阅读全文
Data Lakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。那么何为Data Lakehouse呢，它具备些什么特性呢？ 具备哪些特性？ 一直以来，我们都
阅读全文
摘要：上一篇详细分析了NioEventLoopGroup作用和源码，本文来看看NioEventLoop。NioEventLoop源码比NioEventLoopGroup源码复杂得多，每个NioEventLoop对象都与NIO中的多路复用器Selector一样，要管理成千上万条链路，所有链路数据的读/写事件
阅读全文
摘要：本文基础是需要有Netty的使用经验，如果没有编码经验，可以参考官网给的例子：https://netty.io/wiki/user-guide-for-4.x.html。另外本文也是针对的是Netty 4.1.x版本的。 Reactor模式 本文主要介绍Netty线程模型及其实现，介绍Netty线程
阅读全文
摘要：通信架构 首先，看下hdfs的交互图： 可以看到通信方面是有几个角色的：客户端（client)、NameNode、SecondaryNamenode、DataNode;其中SecondaryNamenode只与NameNode交互，其余的三种之间可以相互交互，所以便有了client—>NameNod
阅读全文
摘要：我们再来看下SpringBoot应用的启动类： 查看代码 import org.springframework.boot.SpringApplication; import org.springframework.boot.autoconfigure.SpringBootApplication; i
阅读全文
摘要：上一篇简单介绍了下SpringBoot的大体轮廓，我们了解到SpringBoot简化了Spring应用的开发，其实Spring自打诞生开始就是一个“胶水”框架，本身不做业务耦合，只是作为各类框架和工具的集成，体现了万能胶水的平台性，而SpringBoot是在其之上做了有些开发的优化，主要思想是“习惯
阅读全文
