摘要: 方式一:读取文件输出到Kafka 1.代码 import org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExecutionEn 阅读全文
posted @ 2020-01-09 17:56 大牛和小白 阅读(6858) 评论(0) 推荐(0) 编辑
摘要: import org.apache.flink.api.common.functions.FilterFunctionimport org.apache.flink.streaming.api.scala.StreamExecutionEnvironmentobject TransformTest 阅读全文
posted @ 2020-01-09 16:44 大牛和小白 阅读(1362) 评论(0) 推荐(0) 编辑
摘要: 1.安装Kafka之前,需要先安装好Java和Zookeeper,安装教程可参考:https://www.cnblogs.com/wddqy/p/12156723.html 2.Kafka下载地址:http://archive.apache.org/dist/kafka/1.0.0/kafka_2. 阅读全文
posted @ 2020-01-06 16:20 大牛和小白 阅读(404) 评论(0) 推荐(0) 编辑
摘要: 1.安装Zookeeper之前,先确保安装好了Java配置了JAVA_HOME 双击 新建添加 2.下载zookeeper-3.4.10,地址:http://archive.apache.org/dist/zookeeper/zookeeper-3.4.10/ 3.解压后目录D:\Zookeeper 阅读全文
posted @ 2020-01-06 15:50 大牛和小白 阅读(681) 评论(0) 推荐(0) 编辑
摘要: 代码:import java.util.Propertiesimport org.apache.flink.api.common.serialization.SimpleStringSchemaimport org.apache.flink.streaming.api.scala.StreamExe 阅读全文
posted @ 2020-01-06 15:25 大牛和小白 阅读(938) 评论(0) 推荐(0) 编辑
摘要: import pandas as pdimport numpy as npdate = pd.date_range('20191231', periods=6)df = pd.DataFrame(np.arange(24).reshape(6,4), index=date, columns=['A' 阅读全文
posted @ 2019-12-31 17:43 大牛和小白 阅读(1871) 评论(0) 推荐(0) 编辑
摘要: 代码: import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object Update 阅读全文
posted @ 2019-12-11 18:25 大牛和小白 阅读(312) 评论(0) 推荐(0) 编辑
摘要: 代码: import org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.streaming.{Seconds, StreamingContext}object Stream 阅读全文
posted @ 2019-12-11 17:22 大牛和小白 阅读(348) 评论(0) 推荐(0) 编辑
摘要: ①下载flink-1.7.2-bin-hadoop27-scala_2.11.tgz,解压后进入bin,双击:start-cluster.bat(Windows环境)。 然后打开7777端口: ②进入http://localhost:8081,界面如下: ③ ④ ⑤点击Submit ⑥结果 如下界面 阅读全文
posted @ 2019-12-06 18:12 大牛和小白 阅读(3490) 评论(0) 推荐(0) 编辑
摘要: 第一步:准备netcat(Linux环境可忽略) 由于本次代码结果的验证是在Windows环境下进行,所以需要安装一下netcat以使用nc命令,netcat的安装方法可参考链接:https://blog.csdn.net/BoomLee/article/details/102563472 第二步: 阅读全文
posted @ 2019-12-06 11:43 大牛和小白 阅读(1213) 评论(0) 推荐(0) 编辑