Flink - 随笔分类 - 吹静静

报错：Flink cannot assign instance of org.apache.commons.collections.map.LinkedMap to field

摘要：报错背景运行Flink jar包时出现报错。报错现象 SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/msun/software/flink-1.13.6/lib/log 阅读全文

posted @ 2022-08-02 17:52 吹静静阅读(1680) 评论(1) 推荐(1) 编辑

报错：Flink Could not find a file system implementation for scheme 'hdfs'

摘要：报错背景安装Flink on yarn集群，Flink集群无法启动。版本： flink-1.14.4 hadoop-3.2.3 报错现象 2022-04-18 10:32:31,809 ERROR org.apache.flink.runtime.entrypoint.ClusterEntryp 阅读全文

posted @ 2022-04-18 11:29 吹静静阅读(1256) 评论(0) 推荐(0) 编辑

报错：Flink Hadoop is not in the classpath/dependencies

摘要：报错背景安装Flink on yarn集群，Flink集群无法启动。版本： flink-1.14.4 hadoop-3.2.3 报错现象 2022-04-18 10:22:31,395 ERROR org.apache.flink.runtime.entrypoint.ClusterEntryp 阅读全文

posted @ 2022-04-18 10:51 吹静静阅读(1121) 评论(0) 推荐(0) 编辑

报错：Flink Could not resolve substitution to a value: ${akka.stream.materializer}

摘要：报错现象： Exception in thread "main" com.typesafe.config.ConfigException$UnresolvedSubstitution: reference.conf @ jar:file:/bigdata/app/flink-1.0-SNAPSHOT 阅读全文

posted @ 2019-04-10 15:09 吹静静阅读(6743) 评论(2) 推荐(0) 编辑

报错：Exception in thread "main" java.lang.NoClassDefFoundError: Lorg/apache/hadoop/fs/FileSystem

摘要：报错现象：报错背景：当时我是在做kafka+flink+hadoop数据存取的功能，一直在报这个错，代码也没有问题，困扰了很长时间。报错解决：第一步：我怀疑是依赖冲突问题，于是将关于hadoop的pom依赖给一一注释掉，发现做完之后还是报错；第二步：我开始怀疑是没有这个jar包，但是当我去阅读全文

posted @ 2019-04-04 10:00 吹静静阅读(7772) 评论(0) 推荐(0) 编辑

Flink+Kafka 接收流数据并打印到控制台

摘要：试验环境 Windows：IDEA Linux：Kafka，Zookeeper POM和Demo 在云主机上启动服务 1.启动zookeeper； 2.启动Kafka； 3.创建topic； 4.启动生产者。运行程序KafkaDemo 1.在kafka的生产者界面输入内容 2.查看IDEA的控制台阅读全文

posted @ 2019-03-15 09:42 吹静静阅读(10321) 评论(0) 推荐(0) 编辑

报错：Exception in thread "main" com.typesafe.config.ConfigException$UnresolvedSubstitution

摘要：报错现象：报错原因： pom文件中的jar包太高，可以降低jar包的版本号。报错解决：我将2.11换成了2.10，即可解决。完整的pom文件 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache. 阅读全文

posted @ 2019-03-12 15:51 吹静静阅读(2171) 评论(0) 推荐(0) 编辑

报错：NoSuchMethodError: kafka.javaapi.PartitionMetadata.leader()Lkafka/cluster/Broker;

摘要：报错现象：在pom文件添加：完整的pom文件：阅读全文

posted @ 2019-03-07 16:41 吹静静阅读(831) 评论(0) 推荐(0) 编辑

Flink 集群安装配置

摘要：以下操作均在主节点进行 1.环境变量添加FLINK_HOME以及path的内容： 2.修改conf/flink-conf.yaml 这几乎是最简单的配置方式了，主要注意要修改jobmanager.rpc.address为集群中jobManager的IP或hostname。检查点以及HA的参数都没有阅读全文

posted @ 2019-03-06 15:48 吹静静阅读(1527) 评论(0) 推荐(0) 编辑

配置Flink依赖的pom文件时报错：flink-clients_2.11 & flink-streaming-java_2.11

摘要：在配置eclipse上的pom文件时，在配置到flink-clients_2.11 和 flink-streaming-java_2.11这两个jar包的时候不管怎么弄都报错而且包一大堆错。最难受的就是Flink技术太新了，网上搜不到解决方案。千辛万苦找到的解决办法就是将jar包的版本调低。下面阅读全文

posted @ 2019-03-06 15:08 吹静静阅读(6636) 评论(0) 推荐(0) 编辑

Flink安装启动

摘要：1.下载安装包并解压下载网址：https://flink.apache.org/ 版本选择可以根据安装的hadoop版本和Scala版本进行选择我用的是：flink-1.3.3-bin-hadoop27-scala_2.10.tgz 解压：tar -xvf flink-1.3.3-bin-had 阅读全文

posted @ 2019-02-25 17:34 吹静静阅读(5455) 评论(0) 推荐(0) 编辑

吹静静

欢迎QQ交流：592590682

随笔分类 - Flink