摘要: 综述: 在Flink中DataStream程序是在数据流上实现了转换的常规程序。 1.示范程序 2.数据源 程序从源读取输入。可以通过StreamExecutionEnvironment.addSource(sourceFunction)给程序附上源。 在StreamExecutionEnviron 阅读全文
posted @ 2018-08-06 21:53 gqb00 阅读(1283) 评论(1) 推荐(0) 编辑
摘要: Flink程序是实现分布式集合转换的常规程序。集合最初是从源创建的。通过接收器(slink)返回结果,接收器可以将数据写到某个文件或stdout。Flink可以在各种环境(context)中运行,本地JVM或集群。 1.数据集和数据流 Flink用特殊的类DataSet and DataStream 阅读全文
posted @ 2018-08-05 17:14 gqb00 阅读(2605) 评论(4) 推荐(0) 编辑
摘要: 每个Flink程序都依赖于一组Flink库。 1.Flink核心和应用程序依赖项 Flink本身由一组类和运行需要的依赖组成。所有类和依赖的组合形成了Flink运行时的核心,并且当一个Flink程序运行时必须存在。 这些核心类和依赖被打包成flink-dist.jar。 为了在默认情况下避免过多的依 阅读全文
posted @ 2018-08-04 21:49 gqb00 阅读(1050) 评论(0) 推荐(0) 编辑
摘要: 1.任务和操作链 下面的数据流图有5个子任务执行,因此有五个并行线程。 2.Job Managers, Task Managers, Clients Job Managers:协调分布式运行,他们安排任务,协调检查点,recovery失败等等。至少有一个Job Managers,一个做leader, 阅读全文
posted @ 2018-08-04 14:27 gqb00 阅读(297) 评论(0) 推荐(0) 编辑
摘要: 1.抽象层次 Flink提供不同的抽象级别开发流/批处理应用程序。 最底层提供有状态流,嵌入到DataStream数据API函数。它允许用户自由从一个或多个流处理事件。 Table API是一种围绕表的声明性DSL,可以动态的改变表,无缝的在表和DataStream/DataSet之间转换。 2.程 阅读全文
posted @ 2018-08-03 20:33 gqb00 阅读(467) 评论(0) 推荐(0) 编辑
摘要: $flink命令位置 命令 选项 jar包位置 \ --input 输入文件位置 --out 输出文件位置 ./bin/flink run ./examples/batch/WordCount.jar 在flink目录下运行WordCount.jar ./bin/flink run -p 16 ./ 阅读全文
posted @ 2018-08-02 16:55 gqb00 阅读(6925) 评论(0) 推荐(0) 编辑
摘要: 学习过程参考 http://www.runoob.com/linux 1.什么是Shell Shell是一个用c语言编写的程序。 Shell既是一个命令语言,也是一种程序设计语言。 Shell是指一种应用程序,它提供了一个界面,用户通过这个界面访问操作系统内核的服务。 2.什么是Shell脚本 Sh 阅读全文
posted @ 2018-07-27 21:56 gqb00 阅读(245) 评论(0) 推荐(0) 编辑
摘要: 学习过程参考 http://www.runoob.com/linux 1.yum:Yellow dog Updater,是一个基于RPM包管理的字符前端软件包管理器。能够从指定服务器自动下载RPM包并且安装,可以处理依赖性关系,并且一次安装所有依赖软件包,无需繁琐的一次次下载,安装。 2.yum常用 阅读全文
posted @ 2018-07-27 15:57 gqb00 阅读(125) 评论(0) 推荐(0) 编辑
摘要: 学习过程参考 http://www.runoob.com/linux 1.Linux系统启动过程 内核的引导 : 计算机打开电源后,首先BIOS自检,按照BIOS中的设置启动,读入/boot下的内核文件 运行init: 运行init程序,在/etc/inittab 中读取配置文件,运行守护进程(服务 阅读全文
posted @ 2018-07-27 11:58 gqb00 阅读(118) 评论(0) 推荐(0) 编辑