2020年6月27日
大数据基础---Flink_Data_Source
摘要： 一、内置 Data Source Flink Data Source 用于定义 Flink 程序的数据来源，Flink 官方提供了多种数据获取方法，用于帮助开发者简单快速地构建输入流，具体如下： 1.1 基于文件构建 1. readTextFile(path)：按照 TextInputFormat 阅读全文
posted @ 2020-06-27 21:49 数据驱动 阅读(580) 评论(0) 推荐(1) 编辑
大数据基础---Flink开发环境搭建
摘要： 一、安装 Scala 插件 Flink 分别提供了基于 Java 语言和 Scala 语言的 API ，如果想要使用 Scala 语言来开发 Flink 程序，可以通过在 IDEA 中安装 Scala 插件来提供语法提示，代码高亮等功能。打开 IDEA , 依次点击 File => settings 阅读全文
posted @ 2020-06-27 19:39 数据驱动 阅读(2282) 评论(0) 推荐(0) 编辑
大数据基础---Flink核心概念综述
摘要： 一、Flink 简介 Apache Flink 诞生于柏林工业大学的一个研究性项目，原名 StratoSphere 。2014 年，由 StratoSphere 项目孵化出 Flink，并于同年捐赠 Apache，之后成为 Apache 的顶级项目。2019 年 1 年，阿里巴巴收购了 Flink 阅读全文
posted @ 2020-06-27 17:09 数据驱动 阅读(637) 评论(0) 推荐(0) 编辑
大数据基础---Spark_Streaming整合Kafka
摘要： 一、版本说明 Spark 针对 Kafka 的不同版本，提供了两套整合方案：spark-streaming-kafka-0-8 和 spark-streaming-kafka-0-10，其主要区别如下： spark-streaming-kafka-0-8 spark-streaming-kafka- 阅读全文
posted @ 2020-06-27 00:30 数据驱动 阅读(241) 评论(0) 推荐(0) 编辑