09 2020 档案
摘要：1.导入依赖 <!-- flink Web UI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version
阅读全文
摘要：和其他所有的计算框架一样，flink也有一些基础的开发步骤以及基础，核心的API，当前Java版本，从开发步骤的角度来讲，主要分为四大部分 一.Environment 批处理 // 批处理环境 ExecutionEnvironment env = ExecutionEnvironment.getEx
阅读全文
摘要：依赖 <!-- mysql连接 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.27</version> </dependency> 代码实现 i
阅读全文
摘要：一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后，Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务， 2) ResourceManager分配Container资源，Yarn通知NodeManager启动Applica
阅读全文
摘要：一.介绍 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。 Spark | Flink spark 处理方式：批处理 延时性：高延迟（采集周期） 缺点：精准一次性消费，错乱延迟数据，延迟高 flink 处理方式：流处理（有界，无界） 延时性：低延迟 优点：①
阅读全文
摘要：使用场景 大表join小表 只能广播小表 普通的join是会走shuffle过程的，而一旦shuffle，就相当于会将相同key的数据拉取到一个shuffle read task中再进行join，此时就是reduce join。但是如果一个RDD是比较小的，则可以采用广播小RDD全量数据+map算子
阅读全文
摘要：一.操作index 1.查看index GET /_cat/indices?v 2.增加index PUT /index名 3.删除index DELETE /index名 二.操作index 1.新增document --PUT /index名/type名/id PUT /movie_index/
阅读全文
摘要：一.常用知识总结 1.特殊变量($0,@,#,*,?) $0：当前脚本的文件名。 $n：n是一个数字，表示第几个参数。 $#：传递给脚本或函数的参数个数。 $*：传递给脚本或函数的所有参数。当被双引号""包含时，会将所有的参数从整体上看做一份数据，而不是把每个参数都看做一份数据。 $@：传递给脚本或
阅读全文
摘要：一.本地库操作 ①基本操作 1.初始化本地库 git init 2.设置用户签名|用户名|邮箱 git config --global user.name 用户名 git config --global user.email 邮箱 3.查看本地库状态 git status 4.添加暂存区 git a
阅读全文
