flink - 随笔分类(第2页) - niutao

Flink--DateSet的Transformation简单操作

摘要：flatMap函数练习：如下数据要求：统计相邻字符串出现的次数 import org.apache.flink.api.scala.{DataSet, ExecutionEnvironment} import org.apache.flink.streaming.api.scala._ /** 阅读全文

posted @ 2018-05-19 19:19 niutao 阅读(760) 评论(0) 推荐(0) 编辑

flink--DateSet开发--简单入门

摘要：开发流程例子：将程序打包，提交到yarn 添加maven打包插件： <build> <sourceDirectory>src/main/java</sourceDirectory> <testSourceDirectory>src/test/scala</testSourceDirectory> 阅读全文

posted @ 2018-05-19 19:16 niutao 阅读(570) 评论(0) 推荐(0) 编辑

Flink应用开发-maven导入

摘要：flink和spark类似，也是一种一站式处理的框架；既可以进行批处理（DataSet），也可以进行实时处理（DataStream）使用maven导入相关依赖 <properties> <maven.compiler.source>1.8</maven.compiler.source> <mave 阅读全文

posted @ 2018-05-19 19:12 niutao 阅读(2896) 评论(0) 推荐(0) 编辑

Flink运行在yarn上

摘要：在一个企业中，为了最大化的利用集群资源，一般都会在一个集群中同时运行多种类型的 Workload。因此 Flink 也支持在 Yarn 上面运行； flink on yarn的前提是：hdfs、yarn均启动修改hadoop的配置参数 vim etc/hadoop/yarn-site.xml 是否阅读全文

posted @ 2018-05-19 19:10 niutao 阅读(1352) 评论(0) 推荐(0) 编辑

flink的集群的HA高可用

摘要：对于一个企业级的应用，稳定性是首要要考虑的问题，然后才是性能，因此 HA 机制是必不可少的；和 Hadoop 一代一样，从架构中我们可以很明显的发现 JobManager 有明显的单点问题（SPOF，single point of failure）。 JobManager 肩负着任务调度以及资源分阅读全文

posted @ 2018-05-19 18:58 niutao 阅读(1111) 评论(0) 推荐(0) 编辑

flink的Standalone集群安装

摘要：1：上传安装包到linux系统使用rz命令 2：解压 tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz 3：修改配置文件 vim conf/flink-conf.yaml 配置参数解释： 4：启动flink集群方式一：添加一个JobManage 阅读全文

posted @ 2018-05-18 18:53 niutao 阅读(297) 评论(0) 推荐(1) 编辑

flink的流处理特性

摘要：flink的流处理特性：支持高吞吐、低延迟、高性能的流处理支持带有事件时间的窗口（Window）操作支持有状态计算的Exactly-once语义支持高度灵活的窗口（Window）操作，支持基于time、count、session，以及data-driven的窗口操作支持具有Backpres 阅读全文

posted @ 2018-05-17 18:48 niutao 阅读(854) 评论(0) 推荐(0) 编辑

随笔分类 - flink