摘要： MapReduce提交过程 在Xshell中输入bash -X命令可以在Bash shell中启用debug模式，显示执行过程中的详细信息，例如每条命令的执行结果以及执行的步骤。 Hadoop提交执行 开始使用Java命令执行 java org.apache.hadoop.util.RunJar h 阅读全文

摘要： 1、MapReduce序列化（接着昨天的知识继续学习） 序列化 (Serialization)将对象的状态信息转换为可以存储或传输的形式的过程。在序列化期间，对象将其当前状态写入到临时或持久性存储区。以后，可以通过从存储区中读取或反序列化对象的状态，重新创建该对象。 当两个进程在进行远程通信时，彼此 阅读全文

摘要： 1、MapReduce概述及原理 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题. MapReduce是分布式运行的，由两个阶段组成：Map和Reduce，Map阶段是一个独立的程序，有很多个节点同时运行，每个节点处理一部分数据。Reduce阶段 阅读全文

摘要： Hadoop三大组件的介绍 1、yarn架构分析 yarn：资源的调度和管理平台。 主从结构 主节点，可以有2个：ResourceManager 从节点，有很多个: NodeManager ResourceManager负责 集群资源的分配与调度 MapReduce、Storm、Spark等应用，必 阅读全文

摘要： 首先我们来了解一下大数据 什么是大数据？ 高速：指数据产生的速度非常快，对于用户的使用记录等日志信息，产生的速度会非常快，那么对这部分数据做数据采集分析，要求速度也非常快 所以需要应用分布式处理技术，而大数据所学习的都是分布式处理应用，该应用可以在多个服务器中进行使用，并获取其计算资源，帮助我们完成 阅读全文

摘要： 数据中台 1、数据中台的概念 数据中台是一种集中化的数据管理平台，用于整合和管理企业内部各个业务系统的数据。 它将数据从各个业务系统中抽取、清洗和集成，然后提供给其他业务系统或者数据应用进行分析、决策和创新。 数据中台的目标是实现数据的一致性、可信度和可用性，促进数据的共享和交流。 数据中台通常采用 阅读全文

摘要： Hive自定义函数UserDefineFunction 主要分为三大类： ​ UDF：一对一 ​ UDTF：一对多 ​ UDAF：多对一 注意：1、区分的条件只要看前后输入输出之后的行数的变化 ​ 2、UDF可以连续嵌套调用，类似于if语句 UDF：一进一出 定义UDF函数要注意下面几点: 继承or 阅读全文

摘要： 1.1 Hive窗口函数 普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。 简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般就是说的是over()函数，其窗口是由一个 OVER 子句 定义的多行记录 开窗函数一般分为 阅读全文

摘要： Hive函数学习 SQL练习 1、count(*)、count(1) 、count('字段名') 区别 从执行结果来看 count(*)包括了所有的列，相当于行数，在统计结果的时候，不会忽略列值为NULL 最慢的 count(1)包括了忽略所有列，用1代表代码行，在统计结果的时候，不会忽略列值为NU 阅读全文

摘要： 5、Hive内置函数（分区和排序后面学习hive中的函数） UDF:一对一 UDTF：一对多 UDAF：多对一 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF -- 1.查看系统自带函数 show functio 阅读全文