12 2020 档案

摘要:Flink支持用户自定义 Functions,方法有2个 Ref https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/user_defined_functions.html 1. 实现 MapFunction接口 c 阅读全文
posted @ 2020-12-16 17:28 tonglin0325 阅读(392) 评论(0) 推荐(0) 编辑
摘要:Flink有3中运行模式,分别是STREAMING,BATCH和AUTOMATIC Ref https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/datastream_execution_mode.html 1.STR 阅读全文
posted @ 2020-12-14 16:27 tonglin0325 阅读(1745) 评论(0) 推荐(0) 编辑
摘要:Flink中的DataSet任务用于实现data sets的转换,data set通常是固定的数据源,比如可读文件,或者本地集合等。 Ref https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/batch/ 使用Da 阅读全文
posted @ 2020-12-11 17:43 tonglin0325 阅读(325) 评论(0) 推荐(0) 编辑
摘要:Flink中的DataStream任务用于实现data streams的转换,data stream可以来自不同的数据源,比如消息队列,socket,文件等。 Ref https://ci.apache.org/projects/flink/flink-docs-stable/zh/dev/data 阅读全文
posted @ 2020-12-11 17:35 tonglin0325 阅读(295) 评论(0) 推荐(0) 编辑
摘要:Flink有以下几种Environment 1. 批处理Environment,ExecutionEnvironment ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); 2.流处理Environme 阅读全文
posted @ 2020-12-10 20:06 tonglin0325 阅读(1616) 评论(0) 推荐(0) 编辑
摘要:在Flink任务中,需要加载外置配置参数到任务中,在Flink的开发文档中介绍了,Flink提供了一个名为 ParameterTool 的工具来解决这个问题 Flink开发文档: https://github.com/apache/flink/blob/master/docs/dev/applica 阅读全文
posted @ 2020-12-10 14:57 tonglin0325 阅读(1043) 评论(0) 推荐(1) 编辑
摘要:1.业界公司数据平台建设规模 1.twitter Twitter关于日志系统的论文有如下2篇,分别是 《The Unified Logging Infrastructure for Data Analytics at Twitter》和《Scaling Big Data Mining Infrast 阅读全文
posted @ 2020-12-08 19:39 tonglin0325 阅读(347) 评论(0) 推荐(0) 编辑
摘要:Springboot可以通过redis template和redis进行交互,使用方法如下 可以参考这个系列的文章: 【快学springboot】11.整合redis实现session共享 【快学springboot】13.操作redis之String数据结构 【快学springboot】14.操作 阅读全文
posted @ 2020-12-01 13:49 tonglin0325 阅读(293) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示