上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 22 下一页
摘要: 1、Transform 1.1 map val streamMap = stream.map { x => x * 2 } 1.2 flatmap flatMap的函数签名:def flatMap[A,B](as: List[A])(f: A ⇒ List[B]): List[B] 例如: flat 阅读全文
posted @ 2020-04-04 18:40 hyunbar 阅读(752) 评论(0) 推荐(0) 编辑
摘要: 1、 Environment 1.1 getExecutionEnvironment 创建一个执行环境,表示当前执行程序的上下文。 如果程序是独立调用的,则此方法返回本地执行环境 如果从命令行客户端调用程序以提交到集群,则此方法返回此集群的执行环境 也就是说,getExecutionEnvironm 阅读全文
posted @ 2020-04-04 17:54 hyunbar 阅读(1322) 评论(0) 推荐(0) 编辑
摘要: 我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下,极为重要。 例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。 基于此,DataStream API提供了一系列的Low-Level转换算子。 可以访问时间戳、watermark 阅读全文
posted @ 2020-04-04 15:13 hyunbar 阅读(2311) 评论(0) 推荐(0) 编辑
摘要: 1、Window概述 streaming流式计算是一种被设计用于处理无限数据集的数据处理引擎,而无限数据集是指一种不断增长的本质上无限的数据集,而window是一种切割无限数据为有限块进行处理的手段。 Window是无限数据流处理的核心,Window将一个无限的stream拆分成有限大小的”buck 阅读全文
posted @ 2020-04-03 20:37 hyunbar 阅读(280) 评论(0) 推荐(0) 编辑
摘要: 1、资源参数调优 1.1 运行时架构 1.1.1 Client : 客户端进程,负责提交作业 1.1.2 Driver/SC : 运行应用程序/业务代码的main()函数并且创建SparkContext,其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由S 阅读全文
posted @ 2020-04-02 20:42 hyunbar 阅读(582) 评论(0) 推荐(0) 编辑
摘要: 1、JVM调优 1.1 内存调优 一般安装好的HBase集群 默认配置:Master和RegionServer 1G内存,而Memstore默认占用0.4,也就是400M。 export HBASE_MASTER_OPTS="$HBASE_MASTER_OPTS -Xms2g -Xmx2g" exp 阅读全文
posted @ 2020-04-02 15:07 hyunbar 阅读(417) 评论(1) 推荐(0) 编辑
摘要: 1、概述 Scala 集合类系统地区分了可变的和不可变的集合 可变集合可以在适当的地方被更新或扩展。这意味着你可以修改,添加,移除一个集合的元素 不可变集合类,相比之下,永远不会改变。不过,你仍然可以模拟添加,移除或更新操作。但是这些操作将在每一种情况下都返回一个新的集合,同时使原来的集合不发生改变 阅读全文
posted @ 2020-04-01 21:51 hyunbar 阅读(107) 评论(0) 推荐(0) 编辑
摘要: 1、transformation算子 – 单value 2、 transformation算子 – 双value 3、 transformation算子 – key-value 4、action算子 阅读全文
posted @ 2020-04-01 21:50 hyunbar 阅读(128) 评论(0) 推荐(0) 编辑
摘要: 1、Flink运行时的组件 Flink运行时架构主要包括四个不同的组件,他们会在运行流处理应用程序时协同工作: 作业管理器(JobManager) 资源管理器(ResourceManager) 任务管理器(TaskManager) 分发器(Dispatcher) 1.1 作业管理器(JobManag 阅读全文
posted @ 2020-03-25 17:40 hyunbar 阅读(452) 评论(0) 推荐(0) 编辑
摘要: 流式计算分为无状态和有状态两种情况。无状态的计算观察每个独立事件,并根据最后一个事件输出结果。例如,流处理应用程序从传感器接收水位数据,并在水位超过指定高度时发出警告。有状态的计算则会基于多个事件输出结果。以下是一些例子。 所有类型的窗口。例如,计算过去一小时的平均水位,就是有状态的计算。 所有用于 阅读全文
posted @ 2020-03-25 17:38 hyunbar 阅读(2949) 评论(0) 推荐(0) 编辑
上一页 1 ··· 6 7 8 9 10 11 12 13 14 ··· 22 下一页