上一页 1 2 3 4 5 6 7 8 ··· 37 下一页
摘要: 1. Tomcat 引入 1.1 功能需求 浏览器发给服务端的是一个 HTTP 格式的请求,HTTP 服务器收到这个请求后,需要调用服务端程序来处理,所谓的服务端程序就是你写的 Java 类,一般来说不同的请求需要由不同的 Java 类来处理。 那么问题来了,HTTP 服务器怎么知道要调用哪个 Ja 阅读全文
posted @ 2023-11-29 08:01 tree6x7 阅读(65) 评论(0) 推荐(0) 编辑
摘要: # 1. DataX 概述 DataX 是阿里巴巴开源的一个异构数据源离线同步工具,致力于实现包括关系型数据库(Mysql、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高效的数据同步功能。 DataX 侧重于同步数据库中的数据。DataX 没有所谓版 阅读全文
posted @ 2023-08-07 23:41 tree6x7 阅读(152) 评论(0) 推荐(0) 编辑
摘要: 官网地址:http://maxwells-daemon.io/ Maxwell 是由美国 Zendesk 公司开源,使用 Java 编写的 MySQL 变更数据抓取软件。它会实时监控 Mysql 数据库的数据变更操作(包括 insert、update、delete),并将变更数据以 JSON 的格式 阅读全文
posted @ 2023-08-07 23:37 tree6x7 阅读(146) 评论(0) 推荐(0) 编辑
摘要: # 1. 概述&入门 Flume 是 Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。 Flume 基于流式架构,灵活简单。其最主要的作用就是实时读取服务器本地磁盘的数据,将数据写入到 HDFS。 ![](https://img2023.cnblogs.com 阅读全文
posted @ 2023-08-01 21:17 tree6x7 阅读(86) 评论(0) 推荐(0) 编辑
摘要: # 1. 分组聚合优化 ## 1.1 优化说明 Hive 中未经优化的分组聚合,是通过一个 MapReduce Job 实现的。Map 端负责读取数据,并按照分组字段分区,通过 Shuffle,将数据发往 Reduce 端,各组数据在 Reduce 端完成最终的聚合运算。 Hive 对分组聚合的优化 阅读全文
posted @ 2023-07-30 00:04 tree6x7 阅读(441) 评论(0) 推荐(0) 编辑
摘要: # 1. Hive 表设计优化 ## 1.1 分区表 ### a. 基本查询原理 Hive 的设计思想是通过元数据将 HDFS 上的文件映射成表,基本的查询原理是当用户通过 HQL 语句对 Hive 中的表进行复杂数据处理和计算时,默认将其转换为分布式计算 MapReduce 程序对 HDFS 中的 阅读全文
posted @ 2023-07-29 23:52 tree6x7 阅读(148) 评论(0) 推荐(0) 编辑
摘要: 1. 多字节分隔符 1.1 问题与需求 【默认规则】Hive 默认序列化类是 LazySimpleSerDe,其只支持使用单字节分隔符(char)来加载文本数据,例如逗号、制表符、空格等等,默认的分隔符为”\001”。根据不同文件的不同分隔符,我们可以通过在创建表时使用 ROW FORMAT DEL 阅读全文
posted @ 2023-07-29 23:44 tree6x7 阅读(70) 评论(0) 推荐(0) 编辑
摘要: 1. Hive 内置运算符 整体上,Hive 支持的运算符可以分为三大类:关系运算、算术运算、逻辑运算。 官方参考文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 也可以使用下述方式查看运算符的使用方式: - 阅读全文
posted @ 2023-07-29 23:30 tree6x7 阅读(561) 评论(0) 推荐(0) 编辑
摘要: 1. LOAD 回想一下,当在 Hive 中创建好表之后,默认就会在 HDFS 上创建一个与之对应的文件夹,默认路径是由参数 hive.metastore.warehouse.dir 控制,默认值是 /user/hive/warehouse。 要想让 Hive 的表和结构化的数据文件产生映射,就需要 阅读全文
posted @ 2023-07-29 23:19 tree6x7 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 数据定义语言(Data Definition Language,DDL)是 SQL 语言集中对数据库内部的对象结构进行创建、删除、修改等的操作语言,这些数据库对象包括 database(schema)、table、view、index 等。核心语法由 CREATE、ALTER 与 DROP 三个所组 阅读全文
posted @ 2023-07-29 23:06 tree6x7 阅读(69) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 8 ··· 37 下一页
点击右上角即可分享
微信分享提示
主题色彩