tree6x7 - 博客园

2023年8月7日

摘要：官网地址：http://maxwells-daemon.io/ Maxwell 是由美国 Zendesk 公司开源，使用 Java 编写的 MySQL 变更数据抓取软件。它会实时监控 Mysql 数据库的数据变更操作（包括 insert、update、delete），并将变更数据以 JSON 的格式阅读全文

posted @ 2023-08-07 23:37 tree6x7 阅读(111) 评论(0) 推荐(0) 编辑

2023年8月1日

25-Flume

摘要： # 1. 概述&入门 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构，灵活简单。其最主要的作用就是实时读取服务器本地磁盘的数据，将数据写入到 HDFS。 ![](https://img2023.cnblogs.com 阅读全文

posted @ 2023-08-01 21:17 tree6x7 阅读(65) 评论(0) 推荐(0) 编辑

2023年7月30日

24-Hive优化(下)

摘要： # 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合，是通过一个 MapReduce Job 实现的。Map 端负责读取数据，并按照分组字段分区，通过 Shuffle，将数据发往 Reduce 端，各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化阅读全文

posted @ 2023-07-30 00:04 tree6x7 阅读(230) 评论(0) 推荐(0) 编辑

2023年7月29日

23-Hive优化(上)

摘要： # 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表，基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时，默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的阅读全文

posted @ 2023-07-29 23:52 tree6x7 阅读(89) 评论(0) 推荐(0) 编辑

22-Hive函数应用

摘要： # 1. 多字节分隔符 ## 1.1 问题与需求【**默认规则**】Hive 默认序列化类是 LazySimpleSerDe，其只支持使用单字节分隔符（char）来加载文本数据，例如逗号、制表符、空格等等，默认的分隔符为”\001”。根据不同文件的不同分隔符，我们可以通过在创建表时使用 `row 阅读全文

posted @ 2023-07-29 23:44 tree6x7 阅读(31) 评论(0) 推荐(0) 编辑

21-Hive运算符&函数

摘要： # 1. Hive 内置运算符整体上，Hive 支持的运算符可以分为三大类：关系运算、算术运算、逻辑运算。官方参考文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式：阅读全文

posted @ 2023-07-29 23:30 tree6x7 阅读(390) 评论(0) 推荐(0) 编辑

20-Hive-DML&DQL

摘要： # 1. LOAD 回想一下，当在 Hive 中创建好表之后，默认就会在 HDFS 上创建一个与之对应的文件夹，默认路径是由参数 hive.metastore.warehouse.dir 控制，默认值是 /user/hive/warehouse。要想让 Hive 的表和结构化的数据文件产生映射，就阅读全文

posted @ 2023-07-29 23:19 tree6x7 阅读(73) 评论(0) 推荐(0) 编辑

19-Hive-DDL

摘要：数据定义语言（Data Definition Language，DDL）是 SQL 语言集中对数据库内部的对象结构进行创建、删除、修改等的操作语言，这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组阅读全文

posted @ 2023-07-29 23:06 tree6x7 阅读(27) 评论(0) 推荐(0) 编辑

18-Hive入门&安装

摘要： # 1. Hive 概述 ## 1.1 什么是 Hive？ Apache Hive 是一款**建立在 Hadoop 之上的开源数据仓库工具**，可以将存储在 Hadoop 文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似 SQL 的查询模型，称为 Hive 查询语言（HQL）阅读全文

posted @ 2023-07-29 22:03 tree6x7 阅读(72) 评论(0) 推荐(0) 编辑

17-数仓基础理论

摘要： # 1. 数据仓库数据仓库（Data Warehouse，简称数仓、DW）是一个用于存储、分析、报告的数据系统。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。数据仓库本身并不“生产”任何数据，其数据来源于不同外部系统；同时数据仓库自身也不需阅读全文

posted @ 2023-07-29 21:53 tree6x7 阅读(70) 评论(0) 推荐(0) 编辑

Loading

◥(ฅºωºฅ)◤

公告