报错：Flink cannot assign instance of org.apache.commons.collections.map.LinkedMap to field
摘要：报错背景 运行Flink jar包时出现报错。 报错现象 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/msun/software/flink-1.13.6/lib/log
阅读全文
posted @
2022-08-02 17:52
吹静静
阅读(1681)
推荐(1) 编辑
报错：Flink Could not find a file system implementation for scheme 'hdfs'
摘要：报错背景 安装Flink on yarn集群，Flink集群无法启动。 版本： flink-1.14.4 hadoop-3.2.3 报错现象 2022-04-18 10:32:31,809 ERROR org.apache.flink.runtime.entrypoint.ClusterEntryp
阅读全文
posted @
2022-04-18 11:29
吹静静
阅读(1259)
推荐(0) 编辑
报错：Flink Hadoop is not in the classpath/dependencies
摘要：报错背景 安装Flink on yarn集群，Flink集群无法启动。 版本： flink-1.14.4 hadoop-3.2.3 报错现象 2022-04-18 10:22:31,395 ERROR org.apache.flink.runtime.entrypoint.ClusterEntryp
阅读全文
posted @
2022-04-18 10:51
吹静静
阅读(1124)
推荐(0) 编辑
报错：Flink Could not resolve substitution to a value: ${akka.stream.materializer}
摘要：报错现象： Exception in thread "main" com.typesafe.config.ConfigException$UnresolvedSubstitution: reference.conf @ jar:file:/bigdata/app/flink-1.0-SNAPSHOT
阅读全文
posted @
2019-04-10 15:09
吹静静
阅读(6745)
推荐(0) 编辑
报错：Exception in thread "main" java.lang.NoClassDefFoundError: Lorg/apache/hadoop/fs/FileSystem
摘要：报错现象： 报错背景： 当时我是在做kafka+flink+hadoop数据存取的功能，一直在报这个错，代码也没有问题，困扰了很长时间。 报错解决： 第一步：我怀疑是依赖冲突问题，于是将关于hadoop的pom依赖给一一注释掉，发现做完之后还是报错； 第二步：我开始怀疑是没有这个jar包，但是当我去
阅读全文
posted @
2019-04-04 10:00
吹静静
阅读(7772)
推荐(0) 编辑
Flink+Kafka 接收流数据并打印到控制台
摘要：试验环境 Windows：IDEA Linux：Kafka，Zookeeper POM和Demo 在云主机上启动服务 1.启动zookeeper； 2.启动Kafka； 3.创建topic； 4.启动生产者。 运行程序KafkaDemo 1.在kafka的生产者界面输入内容 2.查看IDEA的控制台
阅读全文
posted @
2019-03-15 09:42
吹静静
阅读(10321)
推荐(0) 编辑
报错：Exception in thread "main" com.typesafe.config.ConfigException$UnresolvedSubstitution
摘要：报错现象： 报错原因： pom文件中的jar包太高，可以降低jar包的版本号。 报错解决： 我将2.11换成了2.10，即可解决。 完整的pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.
阅读全文
posted @
2019-03-12 15:51
吹静静
阅读(2171)
推荐(0) 编辑
Flink 集群安装配置
摘要：以下操作均在主节点进行 1.环境变量 添加FLINK_HOME以及path的内容： 2.修改conf/flink-conf.yaml 这几乎是最简单的配置方式了，主要注意要修改jobmanager.rpc.address为集群中jobManager的IP或hostname。检查点以及HA的参数都没有
阅读全文
posted @
2019-03-06 15:48
吹静静
阅读(1527)
推荐(0) 编辑
配置Flink依赖的pom文件时报错：flink-clients_2.11 & flink-streaming-java_2.11
摘要：在配置eclipse上的pom文件时，在配置到flink-clients_2.11 和 flink-streaming-java_2.11这两个jar包的时候不管怎么弄都报错而且包一大堆错。 最难受的就是Flink技术太新了，网上搜不到解决方案。千辛万苦找到的解决办法就是将jar包的版本调低。 下面
阅读全文
posted @
2019-03-06 15:08
吹静静
阅读(6638)
推荐(0) 编辑
Flink安装启动
摘要：1.下载安装包并解压 下载网址：https://flink.apache.org/ 版本选择可以根据安装的hadoop版本和Scala版本进行选择 我用的是：flink-1.3.3-bin-hadoop27-scala_2.10.tgz 解压：tar -xvf flink-1.3.3-bin-had
阅读全文
posted @
2019-02-25 17:34
吹静静
阅读(5455)
推荐(0) 编辑
管理
