随笔分类 - Hadoop
摘要：Hadoop 社区推出了新一代分布式Key-value对象存储系统 Ozone，同时提供对象和文件访问的接口，从构架上解决了长久以来困扰HDFS的小文件问题。本文作为Ozone系列文章的第一篇，抛个砖，介绍Ozone的产生背景，主要架构和功能。 背景 HDFS是业界默认的大数据存储系统，在业界的大数
阅读全文
摘要：Hadoop分布式文件系统（HDFS）从Hadoop出现到现在已有了10多个年头。HDFS的出现和成熟为企业提供了廉价的海量数据存储方案，大数据存储不再是“王谢堂前燕”，而真正地“飞入”了各个公司。但是10多年的时间，IT软硬件架构、企业部署已经发生了翻天覆地的变化，在这些新的变革下，HDFS露出了
阅读全文
摘要：
Data Lakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。那么何为Data Lakehouse呢，它具备些什么特性呢？ 具备哪些特性？ 一直以来，我们都
阅读全文
Data Lakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。那么何为Data Lakehouse呢，它具备些什么特性呢？ 具备哪些特性？ 一直以来，我们都
阅读全文
摘要：通信架构 首先，看下hdfs的交互图： 可以看到通信方面是有几个角色的：客户端（client)、NameNode、SecondaryNamenode、DataNode;其中SecondaryNamenode只与NameNode交互，其余的三种之间可以相互交互，所以便有了client—>NameNod
阅读全文
