09 2022 档案
摘要:Flink Source 上下文环境 import org.apache.flink.api.scala.ExecutionEnvironment val env = ExecutionEnvironment.getExecutionEnvironment;//批处理运行上下文环境 import o
阅读全文
摘要:Flink理论 flink安装 我使用的是flink的单机版,过程在这:https://www.cnblogs.com/wuxiaolong4/p/16548910.html helloworld import org.apache.flink.api.scala.ExecutionEnvironm
阅读全文
摘要:Hbase 老版本代码 公共方法 def getConn() = { val conf = HBaseConfiguration.create conf.set("hbase.zookeeper.quorum","hadoop1,hadoop2,hadoop3") val conn = Connec
阅读全文
摘要:这篇文章主要介绍两种测试hbase的工具和部分参数 wrk压力测试工具 WRK压力测试工具,这种方式可以测试前端的接口一起测试 但是瓶颈也是前端的java接口,没有办法知道hbase真正的水平 -t, --threads <N> 使用多少个线程进行压测 -c, --connections <N> 跟
阅读全文
摘要:Hbase 基本概念 常用术语 namespace:类似于关系型数据库的databases的概念(默认两个空间hbase default) region:按行切分的数据(根据 row_key ) Row:一个rowkey(字典顺序)和多个column组成 全表扫描、 column:列簇+列限定符(列
阅读全文
摘要:org.apache.spark.examples.SparkPi 27行 def main(args: Array[String]): Unit = { val spark = SparkSession .builder .appName("Spark Pi") .getOrCreate() va
阅读全文
摘要:一般提交任务都是spark-submit --class org.apache.spark.examples.SparkPi 类似的我们下面就以这个SparkPi 完成源码的跟进 寻找main函数类 我们跟进一个spark命令行的样例详细看看spark的源码 cat /opt/spark/spark
阅读全文
摘要:onstart revice方法总结 onstart 1.启动定时发送 向自己 ReregisterWithMaster(一直运行) 2.启动多线程 向master RegisterWorker msg: RegisterWorkerResponse 1.更新master 向自己 SendHeart
阅读全文
摘要:一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case
阅读全文
摘要:一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case
阅读全文
摘要:一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case
阅读全文
摘要:receive 方法其实是大量的case,分别对应处理不同的场景 一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWo
阅读全文
摘要:一.main函数详解 def main(argStrings: Array[String]): Unit = { Thread.setDefaultUncaughtExceptionHandler(new SparkUncaughtExceptionHandler( exitOnUncaughtEx
阅读全文
摘要:一.Master recive方法总结 1.1 公共方法介绍及发送的消息介绍 schedule():方法很重要,基本上所有的方法都会调用这个 launchDriver() launchExecutor() all: worker.send(LaunchDriver) worker.send(Laun
阅读全文
摘要:Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning =>
阅读全文
摘要:Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning =>
阅读全文
摘要:Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning =>
阅读全文
摘要:源码地址:"https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3.tgz" 一.spark源码中基础概念的介绍: 1、RpcEnv:RPC包装对象类似于sparkcontext对象2、RpcEndpoint
阅读全文