随笔分类 - 课程 / 大数据 / 大数据基础
摘要：Foreword Before writing this article, I wrote some history of big data components and some of its evaluations intermittently, but I didn't feel satisf
阅读全文
摘要：一、数仓架构发展史 1.发展史 时代的变迁，生死的轮回，历史长河滔滔，没有什么是永恒的，只有变化才是不变的，技术亦是如此，当你选择互联网的那一刻，你就相当于乘坐了一个滚滚向前的时代列车，开往未知的方向，不论什么样的技术架构只有放在当前的时代背景下，才是有意义的，人生亦是如此。 时间就是一把尺子，它能
阅读全文
摘要：一、技术生态 1.初步 Hadoop只是一套工具的总称，它包含三部分：HDFS，Yarn，MapReduce，功能分别是分布式文件存储、资源调度和计算。 按理来说，这就足够了，就可以完成大数据分析了。 但第一个问题就是麻烦。这一套相当于用Yarn调度资源，读取HDFS文件内容进行MR计算。要写Jav
阅读全文
