随笔分类 - hadoop

Hive窗口函数保姆级教程

摘要：在SQL中有一类函数叫做聚合函数，例如sum()、avg()、max()等等，这类函数可以将多行数据按照规则聚集为一行，一般来讲聚集后的行数是要少于聚集前的行数的。但是有时我们想要既显示聚集前的数据，又要显示聚集后的数据，这时我们便引入了窗口函数。窗口函数又叫OLAP函数/分析函数，窗口函数兼具分组阅读全文

posted @ 2021-06-15 17:48 五分钟学大数据阅读(1246) 评论(0) 推荐(0) 编辑

【史上最全】Hadoop 核心 - HDFS 分布式文件系统详解(上万字建议收藏)

摘要：1. HDFS概述 Hadoop 分布式系统框架中，首要的基础功能就是文件系统，在 Hadoop 中使用 FileSystem 这个抽象类来表示我们的文件系统，这个抽象类下面有很多子实现类，究竟使用哪一种，需要看我们具体的实现类，在我们实际工作中，用到的最多的就是HDFS(分布式文件系统)以及Loc 阅读全文

posted @ 2021-02-09 12:09 五分钟学大数据阅读(1840) 评论(1) 推荐(0) 编辑

详解Hadoop3.x新特性功能-HDFS纠删码

摘要：