09 2022 档案

摘要:Flink Source 上下文环境 import org.apache.flink.api.scala.ExecutionEnvironment val env = ExecutionEnvironment.getExecutionEnvironment;//批处理运行上下文环境 import o 阅读全文
posted @ 2022-09-30 10:45 Kotlin 阅读(114) 评论(0) 推荐(0) 编辑
摘要:Flink理论 flink安装 我使用的是flink的单机版,过程在这:https://www.cnblogs.com/wuxiaolong4/p/16548910.html helloworld import org.apache.flink.api.scala.ExecutionEnvironm 阅读全文
posted @ 2022-09-29 14:18 Kotlin 阅读(199) 评论(0) 推荐(0) 编辑
摘要:Hbase 老版本代码 公共方法 def getConn() = { val conf = HBaseConfiguration.create conf.set("hbase.zookeeper.quorum","hadoop1,hadoop2,hadoop3") val conn = Connec 阅读全文
posted @ 2022-09-26 17:20 Kotlin 阅读(53) 评论(0) 推荐(0) 编辑
摘要:这篇文章主要介绍两种测试hbase的工具和部分参数 wrk压力测试工具 WRK压力测试工具,这种方式可以测试前端的接口一起测试 但是瓶颈也是前端的java接口,没有办法知道hbase真正的水平 -t, --threads <N> 使用多少个线程进行压测 -c, --connections <N> 跟 阅读全文
posted @ 2022-09-20 20:10 Kotlin 阅读(220) 评论(0) 推荐(0) 编辑
摘要:Hbase 基本概念 常用术语 namespace:类似于关系型数据库的databases的概念(默认两个空间hbase default) region:按行切分的数据(根据 row_key ) Row:一个rowkey(字典顺序)和多个column组成 全表扫描、 column:列簇+列限定符(列 阅读全文
posted @ 2022-09-18 18:24 Kotlin 阅读(33) 评论(0) 推荐(0) 编辑
摘要:org.apache.spark.examples.SparkPi 27行 def main(args: Array[String]): Unit = { val spark = SparkSession .builder .appName("Spark Pi") .getOrCreate() va 阅读全文
posted @ 2022-09-13 14:12 Kotlin 阅读(87) 评论(0) 推荐(0) 编辑
摘要:一般提交任务都是spark-submit --class org.apache.spark.examples.SparkPi 类似的我们下面就以这个SparkPi 完成源码的跟进 寻找main函数类 我们跟进一个spark命令行的样例详细看看spark的源码 cat /opt/spark/spark 阅读全文
posted @ 2022-09-13 14:10 Kotlin 阅读(117) 评论(0) 推荐(0) 编辑
摘要:onstart revice方法总结 onstart 1.启动定时发送 向自己 ReregisterWithMaster(一直运行) 2.启动多线程 向master RegisterWorker msg: RegisterWorkerResponse 1.更新master 向自己 SendHeart 阅读全文
posted @ 2022-09-12 23:58 Kotlin 阅读(24) 评论(0) 推荐(0) 编辑
摘要:一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case 阅读全文
posted @ 2022-09-12 22:59 Kotlin 阅读(23) 评论(0) 推荐(0) 编辑
摘要:一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case 阅读全文
posted @ 2022-09-12 22:57 Kotlin 阅读(29) 评论(0) 推荐(0) 编辑
摘要:一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWorker 六.case LaunchExecutor 七.case 阅读全文
posted @ 2022-09-12 22:54 Kotlin 阅读(31) 评论(0) 推荐(0) 编辑
摘要:receive 方法其实是大量的case,分别对应处理不同的场景 一.case msg: RegisterWorkerResponse 二.case SendHeartbeat 三.case WorkDirCleanup 四.case MasterChanged 五.case ReconnectWo 阅读全文
posted @ 2022-09-12 22:50 Kotlin 阅读(34) 评论(0) 推荐(0) 编辑
摘要:一.main函数详解 def main(argStrings: Array[String]): Unit = { Thread.setDefaultUncaughtExceptionHandler(new SparkUncaughtExceptionHandler( exitOnUncaughtEx 阅读全文
posted @ 2022-09-12 22:45 Kotlin 阅读(76) 评论(0) 推荐(0) 编辑
摘要:一.Master recive方法总结 1.1 公共方法介绍及发送的消息介绍 schedule():方法很重要,基本上所有的方法都会调用这个 launchDriver() launchExecutor() all: worker.send(LaunchDriver) worker.send(Laun 阅读全文
posted @ 2022-09-12 09:45 Kotlin 阅读(33) 评论(0) 推荐(0) 编辑
摘要:Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning =>  阅读全文
posted @ 2022-09-12 09:39 Kotlin 阅读(22) 评论(0) 推荐(0) 编辑
摘要:Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning =>  阅读全文
posted @ 2022-09-12 09:32 Kotlin 阅读(39) 评论(0) 推荐(0) 编辑
摘要:Master recive全部方法 一.case ElectedLeader => ...... 二.case CompleteRecovery => ...... 三.case RevokedLeadership => ...... 四.case WorkerDecommissioning =>  阅读全文
posted @ 2022-09-12 09:22 Kotlin 阅读(20) 评论(0) 推荐(0) 编辑
摘要:源码地址:"https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.3/spark-3.1.3.tgz" 一.spark源码中基础概念的介绍: 1、RpcEnv:RPC包装对象类似于sparkcontext对象2、RpcEndpoint 阅读全文
posted @ 2022-09-12 09:09 Kotlin 阅读(171) 评论(0) 推荐(0) 编辑

Live2D
点击右上角即可分享
微信分享提示
西雅图
13:14发布
西雅图
13:14发布
4°
东风
3级
空气质量
相对湿度
92%
今天
多云
3°/15°
周四
4°/15°
周五
4°/14°