摘要:
阅读全文
摘要:
# 硬编码的正确密码的哈希值(这只是一个示例,你应该使用更安全的方法来存储和验证密码) $correctPasswordHash = "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" # 替换为实际密码的哈希值 # 读取用户输入的密码 $userPassword = Read-Ho 阅读全文
摘要:
分支 创建分支(test-gitee) git branch test-gitee 切换分支(test-gitee) git checkout test-gitee 或者直接 创建并切换 分支(test-gitee) git checkout -b test-gitee 查看当前分支 git bra 阅读全文
摘要:
# hadoop安装 ## 零、hadoop启动命令 ```shell start-all.sh start-dfs start-yarn hadoop-deamons.sh yarn-deamons.sh hadoop-deamon.sh yarn-deamon.sh mr-jobhistorys 阅读全文
摘要:
# 搭建maven工程及测试 ## 5.1 准备pom文件 ```xml 4.0.0 com.atguigu.flink flink 1.0-SNAPSHOT org.apache.flink flink-scala_2.11 1.7.0 org.apache.flink flink-streami 阅读全文
摘要:
# 分区 hive的分区的是针对于数据库的分区,将原来的数据(有规律的数据)分为多个区域,数据和表的信息是不会有变化的,但是会增加namenode的压力 分区的目的是提升查询效率,将原来的文件进行多层次的管理 分区有三种,静态分区,动态分区,混合分区 关键字:**partitioned by(字段) 阅读全文
摘要:
# Flink集群搭建 ```text Flink 可以选择的部署方式有: Local、Standalone(资源利用率低)、Yarn、Mesos、Docker、Kubernetes、AWS。 我们主要对 Standalone 模式和 Yarn 模式下的 Flink 集群部署进行分析。 我们对sta 阅读全文
摘要:
# Flink 运行架构 ## 4.1 Yarn 模式任务提交流程 ![image](https://img2023.cnblogs.com/blog/1968893/202307/1968893-20230717152212435-217006367.png) ``` text (1)Flink任 阅读全文
摘要:
# Flink基本架构 ## 2.1 JobManager 与 TaskManager Flink 运行时包含了两种类型的处理器: **JobManager 处理器**:也称之为 Master,用于协调分布式执行,它们用来调度 task,协调检查点,协调失败时恢复等。Flink 运行时至少存在一个 阅读全文
摘要:
# 概述 ## 1.1 流处理技术的演变 在开源世界里,Apache Storm 项目是流处理的先锋。Storm 最早由 Nathan Marz和创业公司 BackType 的一个团队开发,后来才被 Apache 基金会接纳。Storm 提供了低延迟的流处理,但是它为实时性付出了一些代价:**很难实 阅读全文