10 2020 档案

摘要:一、概述 1.大致流程:主要分五步 获取一个执行环境 加载/创建初始数据 指定数据上的转换 指定计算结果放在哪里 触发程序执行 详细步骤,可以参考:https://www.cnblogs.com/cjsblog/p/12967555.html 1)在sacla中可以通过静态方法获取执行环境:(根据上 阅读全文
posted @ 2020-10-23 14:50 ---江北 阅读(508) 评论(0) 推荐(0) 编辑
摘要:一、单机版安装与测试 参考:http://www.oushaobin.cn/archives/apache-flink-guide-1.html 1)进入IP:8081管理界面(虚拟机需要防火墙关闭),进入submit new job页面 2)将scala写好的word-count程序打包成包含ja 阅读全文
posted @ 2020-10-19 15:59 ---江北 阅读(410) 评论(0) 推荐(0) 编辑
摘要:一、并行处理和编程规范 1.并行计算 并行计算的核心思想:分而治之,将节点变成有向无环图,路径为Source Trans Sink 二、DataStream API 1.大致运行流程: 代码示例: flink的source从哪里来?——flink连接器 更多的DataStream API,参考:ht 阅读全文
posted @ 2020-10-13 13:52 ---江北 阅读(274) 评论(0) 推荐(0) 编辑

TOP
点击右上角即可分享
微信分享提示