摘要: Flink LocalTransportException Sending the partition request to ‘null‘ failed 这个问题后面还有一句a.nio.channels.ClosedChannelException at org.apache.flink.shade 阅读全文
posted @ 2022-06-12 15:33 纯正肉包 阅读(603) 评论(0) 推荐(0) 编辑
摘要: 1.读取,文件在本地的E盘,一定要加这个file:\\不然不知道是从HDFS还是从本地 val dataPath:String="file:\\E:\\JAVA\\workspacenew\\hudiLearn\\hudi-spark\\src\\main\\resources\\dwv_order 阅读全文
posted @ 2022-06-07 17:47 纯正肉包 阅读(910) 评论(0) 推荐(0) 编辑
摘要: kafka可视化 测试一下test,连接成功如下图 具体页面 阅读全文
posted @ 2022-05-12 15:45 纯正肉包 阅读(88) 评论(0) 推荐(0) 编辑
摘要: Flink 运行时的组件 看的尚硅谷的课件+我自己的理解 Flink 运行时架构主要包括四个不同的组件,它们会在运行流处理应用程序时协同工作: 作业管理器(JobManager)、资源管理器(ResourceManager)、任务管理器(TaskManager), 以及分发器(Dispatcher) 阅读全文
posted @ 2022-01-02 21:08 纯正肉包 阅读(773) 评论(0) 推荐(0) 编辑
摘要: 一、项目目录 二、有两个类,第一个是StreamWordCount,第二个是MyflatMapper,还有pom.xml文件然后maven compile编译,然后maven package打包,FileZilla Client传输文件到虚拟机 package firstday; import or 阅读全文
posted @ 2022-01-02 20:15 纯正肉包 阅读(189) 评论(0) 推荐(0) 编辑
摘要: 一、需要的软件 1、虚拟机管理软件:VMware 2、系统:CentOS 7 3、ssh软件:FileZilla Client 5、Jdk版本:jdk8 6、scala:scala-2.12.11.tgz 7、三节点,已经安装好master和s1和s2虚拟机,如果没有安装,可以到我的上一篇hadoo 阅读全文
posted @ 2022-01-02 11:54 纯正肉包 阅读(132) 评论(0) 推荐(0) 编辑
摘要: 一、需要的软件 1、虚拟机管理软件:VMware 2、系统:CentOS 7 3、ssh软件:FileZilla Client 5、Jdk版本:jdk8 6、scala:scala-2.12.11.tgz 7、三节点,已经安装好master和s1和s2虚拟机,如果没有安装,可以到我的上一篇hadoo 阅读全文
posted @ 2021-12-31 11:50 纯正肉包 阅读(91) 评论(0) 推荐(0) 编辑
摘要: 我是看的这个视频安装的。https://www.bilibili.com/video/BV1ES4y1R7Fk,我图省事儿找的这个视频对应的文档,结果发现文档有一个地方错了,为了记录发了一下,谢谢原作者 配置安装hadoop 一、需要的软件 1、虚拟机管理软件:VMware 2、系统:CentOS 阅读全文
posted @ 2021-12-27 17:15 纯正肉包 阅读(205) 评论(0) 推荐(0) 编辑
摘要: 双十二薅羊毛耶 登录方式 一键登录 点击登录,就弹出来命令行了 vnc登录(远程控制)VNC (Virtual Network Console)是虚拟网络控制台的缩写。它 是一款优秀的远程控制工具软件 共分为三步,首先点击一键登录执行以下安装命令,安装桌面,有700多M,。 # yum groupi 阅读全文
posted @ 2021-12-13 15:25 纯正肉包 阅读(401) 评论(0) 推荐(0) 编辑
摘要: java.lang.IllegalStateException: Unable to find a @SpringBootConfiguration, you need to use @Context https://www.jianshu.com/p/3dbc8ac3e67d 就是这个大佬 一、问 阅读全文
posted @ 2021-11-06 14:33 纯正肉包 阅读(128) 评论(0) 推荐(0) 编辑