摘要：
一、SSH访问登陆虚拟机 目标： 在局域网内A电脑使用SSH登陆B电脑上虚拟机的服务器 前提条件: B电脑为宿主机，可以正常使用ssh访问虚拟机服务器，虚拟机网络连接方式为nat模式，虚拟机防火墙已关闭 详细步骤如下 1、打开Vmware虚拟网络编辑器，选择Nat模式，更改设置 2、点Nat设置 3 阅读全文
摘要：
Environment(执行环境) --> Source(数据源) --> Transform(转换操作) --> Sink(输出) 创建环境之后，就可以构建数据处理的业务逻辑了，如上所示，下面主要学习Flink的源算子（Source）。想要处理数据，先得有数据，所以首要任务就是把数据读进来。 Fl 阅读全文
摘要：
执行环境（Execution Environment） Flink 程序可以在各种上下文环境中运行：可以在本地 JVM 中执行程序，也可以提交到远程集群上运行。 不同的环境，代码的提交运行的过程会有所不同。这就要求在提交作业执行计算时， 首先必须获取当前 Flink 的运行环境，从而建立起与 Fli 阅读全文
摘要：
1.程序与数据流 （DataFlow） 所有的Flink程序都是由三部分组成: Source Transformation 和 Sink（输入、转换、输出） Source负责读取数据源，Transformation利用各种算子进行处理加工，Sink负责输出 在运行时，Flink上运行的程序会被映射成 阅读全文
摘要：
1.系统架构 1.1 整体构成 1.2 作业管理器（JobManager） 控制一个应用程序执行的主进程，是Flink集群中任务管理和调度的核心 JobMaster 是JobManager中最核心的组件，负责处理单独的作业（Job） 在提交作业时，JobMaster会先接受到要执行的应用，一般是由客 阅读全文
摘要：
1.环境配置 系统环境为 CentOS 7.5 版本。 安装 Java 8。 安装 Hadoop 集群，Hadoop 建议选择 Hadoop 2.7.5 以上版本。 配置集群节点服务器间时间同步以及免密登录，关闭防火墙。 自己配置设置如下： 节点服务器 1，IP 地址为 192.168.33.102 阅读全文
摘要：
1、Flink是什么？ Apache Flink 是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算 （官网解释） 用松鼠logo的原因:希望这个项目（Flink）能做到快速灵活的大数据的处理 ，Flink在德语里面表示 快速 灵巧 这玩意是德国的 Flink应用场景 电商和市场营销: 阅读全文
摘要：
1、IDEA创建Maven项目添加如下依赖 pom.xml <properties> <maven.compiler.source>18</maven.compiler.source> <maven.compiler.target>18</maven.compiler.target> <flink. 阅读全文
摘要：
SpringBoot2基础入门 一、Spring与SpringBoot Springboot官网：https://spring.io/projects/spring-boot 1.Spring的能力 2.Spring的生态 覆盖了：web开发、数据访问、安全控制、分布式、消息服务、移动开发、批处理. 阅读全文
摘要：
Hive是Hadoop上的SQL引擎,SparkSQL编译时可以包含Hive支持,包含Hive支持之后,SparkSQL可以访问Hive表,对表进行创建,查询等操作,同时还能支持SQL或HQL 1、内置hive： 在安装Spark的同时就支持hive操作,使用是本地文件系统作为存储,使用默认数据库, 阅读全文