2023 年 7月 18 日随笔档案 - 逆光飞翔-

2023年7月18日

摘要： # 搭建maven工程及测试 ## 5.1 准备pom文件 ```xml 4.0.0 com.atguigu.flink flink 1.0-SNAPSHOT org.apache.flink flink-scala_2.11 1.7.0 org.apache.flink flink-streami 阅读全文

posted @ 2023-07-18 15:21 逆光飞翔- 阅读(13) 评论(0) 推荐(0) 编辑

Hive分区/分桶

摘要： # 分区 hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力分区的目的是提升查询效率,将原来的文件进行多层次的管理分区有三种,静态分区,动态分区,混合分区关键字:**partitioned by(字段) 阅读全文

posted @ 2023-07-18 15:15 逆光飞翔- 阅读(36) 评论(0) 推荐(0) 编辑

第三章 Flink 集群搭建

摘要： # Flink集群搭建 ```text Flink 可以选择的部署方式有： Local、Standalone（资源利用率低）、Yarn、Mesos、Docker、Kubernetes、AWS。我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。我们对sta 阅读全文

posted @ 2023-07-18 09:29 逆光飞翔- 阅读(132) 评论(0) 推荐(0) 编辑