简介: 欢迎钉钉扫描文章底部二维码进入 EMR Studio 用户交流群 直接和讲师交流讨论~ 点击以下链接直接观看直播回放:https://developer.aliyun.com/live/247106
开源大数据社区 & 阿里云 EMR 系列直播 第十二期
主题:Flink on Zeppelin 流计算处理最佳实践
讲师:简锋,阿里云 EMR 数据开发平台 负责人
内容框架:
- 大数据概览
- Flink 学习框架
- EMR Studio 上的流计算最佳实践
- 演示
直播回放:扫描文章底部二维码加入钉群观看回放,或进入链接https://developer.aliyun.com/live/247106
一、大数据概览
- 大数据处理 ETL (Data → Data)
- 大数据分析 BI (Data → Dashboard)
- 机器学习 AI (Data → Model)
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/299f4fb6bcbe4064af811f12ef6181a9.png)
二、Flink 学习框架
Flink 要点
- Stateful
- Time
- Flink Architecture
- Flink API
- Flink Configuration
- Flink Log
Stateful:
• 流计算的及时性
• 流计算的 unbounded
• Window
• Join
• Pattern
• statebackend
Time
- Event time
- Processing time
- Watermark
Flink Architecture
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/5bb59c91fdec48acb39b2ec90f6597c0.png)
Flink API
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/f8966935f08f4e609cca8e5778aaf046.png)
Flink Configuration
- Cluster Configuration
- Job Configuration
- Statebackend
- Resource Manager
- SQL/Python
参考文档:https://ci.apache.org/projects/flink/flink-docs-release-1.13/docs/deployment/config/
Flink Log
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/c8a1aba9e8574ca384886de7cf62f74b.png)
三、EMR Studio 上的流计算最佳实践
EMR Studio 特性:
- 兼容开源组件
EMR Studio 在开源软件 Apache Zeppelin,Jupyter Notebook, Apache Airflow 的基础上优化了做了优化和增强。
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/51a3df3db3b1444498909cd9c0f51182.png)
- 支持连接多个集群
- 适配多个计算引擎
- 交互式开发 + 作业调度无缝衔接
- 适用多种大数据应用场景
- 计算存储分离
Flink Clients
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/73e93d7c1f084b1d9505543c5a8628d5.png)
Flink on Zeppelin (Phase 1) - Interactive Flink Client
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/3a1a7342d4904fb28b010d703515bf4b.png)
Flink on Zeppelin (Phase 2) - Interactive JobManager
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/effad24114f6445d8d1db541a157daf8.png)
Flinkon Zeppelin 主要 Feature
![image.png image.png](https://ucc.alicdn.com/pic/developer-ecology/94e5afc7d73a4d679c745ebf7a56453d.png)
四、演示
具体产品介绍和演示,可以点击以下链接直接观看回放:
https://developer.aliyun.com/live/247106
原文链接
本文为阿里云原创内容,未经允许不得转载。