摘要:
1.导入依赖 <!-- flink Web UI --> <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version 阅读全文
摘要:
和其他所有的计算框架一样,flink也有一些基础的开发步骤以及基础,核心的API,当前Java版本,从开发步骤的角度来讲,主要分为四大部分 一.Environment 批处理 // 批处理环境 ExecutionEnvironment env = ExecutionEnvironment.getEx 阅读全文
摘要:
依赖 <!-- mysql连接 --> <dependency> <groupId>mysql</groupId> <artifactId>mysql-connector-java</artifactId> <version>5.1.27</version> </dependency> 代码实现 i 阅读全文
摘要:
一.运行架构 1.架构 基于yarn模式 0) Flink任务提交后,Client向HDFS上传Flink的Jar包和配置 1) 向Yarn ResourceManager提交任务, 2) ResourceManager分配Container资源,Yarn通知NodeManager启动Applica 阅读全文
摘要:
一.介绍 Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。 Spark | Flink spark 处理方式:批处理 延时性:高延迟(采集周期) 缺点:精准一次性消费,错乱延迟数据,延迟高 flink 处理方式:流处理(有界,无界) 延时性:低延迟 优点:① 阅读全文
摘要:
使用场景 大表join小表 只能广播小表 普通的join是会走shuffle过程的,而一旦shuffle,就相当于会将相同key的数据拉取到一个shuffle read task中再进行join,此时就是reduce join。但是如果一个RDD是比较小的,则可以采用广播小RDD全量数据+map算子 阅读全文
摘要:
一.操作index 1.查看index GET /_cat/indices?v 2.增加index PUT /index名 3.删除index DELETE /index名 二.操作index 1.新增document --PUT /index名/type名/id PUT /movie_index/ 阅读全文
摘要:
一.常用知识总结 1.特殊变量($0,@,#,*,?) $0:当前脚本的文件名。 $n:n是一个数字,表示第几个参数。 $#:传递给脚本或函数的参数个数。 $*:传递给脚本或函数的所有参数。当被双引号""包含时,会将所有的参数从整体上看做一份数据,而不是把每个参数都看做一份数据。 $@:传递给脚本或 阅读全文
摘要:
一.本地库操作 ①基本操作 1.初始化本地库 git init 2.设置用户签名|用户名|邮箱 git config --global user.name 用户名 git config --global user.email 邮箱 3.查看本地库状态 git status 4.添加暂存区 git a 阅读全文
摘要:
Redis 一、大型网站的系统特点 1.高并发、大流量 大型网站系统需要面对高并发用户,大流量访问。Google日均PV数35亿,日均IP访问数3亿;腾讯QQ的最大在线用户数1.4亿(2011年数据);微信用户量已超11亿;2019年天猫双十一交易额突破2500亿。 2.高可用 系统7×24小时不间 阅读全文