11 2019 档案

flink运行报错 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result
摘要：基于上一步的代码和POM，flink1.8.0， scala 2.11.12 本地运行代码一直可以（pom中flink相关依赖的scope修改为compile） 打成jar包提交到本地local模式集群上运行一直报错，如下： org.apache.flink.client.program.Progr 阅读全文
posted @ 2019-11-25 08:38 后山前堂客 阅读(9224) 评论(0) 推荐(0)
flink 提交到本地local集群上运行的pom 和 代码
摘要：POM文件 <!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with thi 阅读全文
posted @ 2019-11-24 19:31 后山前堂客 阅读(853) 评论(0) 推荐(0)
scala 报错 Multiple 'scala-library*.jar'
摘要：Error:scalac: Multiple 'scala-library*.jar' files (scala-library.jar, scala-library.jar, scala-library.jar) in Scala compiler classpath in Scala SDK s 阅读全文
posted @ 2019-11-24 18:13 后山前堂客 阅读(3632) 评论(0) 推荐(0)
macbook 安装scala2.11.12 + flink 1.8.0
摘要：1 scala 2.11.12下载 brew search scala scala scala@2.11 scala@2.12 ✔ scalaenv scalapack scalariform scalastyle brew install scala@2.11 ==> Caveats scala@ 阅读全文
posted @ 2019-11-24 16:06 后山前堂客 阅读(1345) 评论(0) 推荐(0)
flink 运行scala 报错， 问题定位在mvn scala plugin上，还没解决
摘要：$:java -version java version "1.8.0_231" Java(TM) SE Runtime Environment (build 1.8.0_231-b11) Java HotSpot(TM) 64-Bit Server VM (build 25.231-b11, mi 阅读全文
posted @ 2019-11-24 09:10 后山前堂客 阅读(608) 评论(0) 推荐(0)
flink包提交到服务器（本地mac）运行
摘要：将pom文件中的 flink相关依赖（flink-java，flink-client，flink-stream）的scope修改为 provided 然后 mvn clean package，打出来的包 12K，如下（scope为compile时的包46M） 然后通过如下指令，在自己的mac上运行f 阅读全文
posted @ 2019-11-22 00:50 后山前堂客 阅读(665) 评论(0) 推荐(0)
idea 中添加scala sdk
摘要： 阅读全文
posted @ 2019-11-22 00:30 后山前堂客 阅读(2617) 评论(0) 推荐(0)
flink第一个demo
摘要：在没有安装flink的情况下，试运行 wordcount 代码。代码如下： package bigdata.batch; import org.apache.flink.api.common.functions.FlatMapFunction; import org.apache.flink.api 阅读全文
posted @ 2019-11-21 23:30 后山前堂客 阅读(1362) 评论(0) 推荐(0)
sparksql 复杂查询OOM
摘要：平台上执行复杂查询，OOM，根据日志提示的结局方法： -- SET spark.driver.memory=6/8G;【还是OOM】set spark.sql.autoBroadcastJoinThreshold=-1;【解决问题】 Exception in thread "broadcast-ex 阅读全文
posted @ 2019-11-21 08:20 后山前堂客 阅读(1829) 评论(0) 推荐(0)
mysql存储 emoji &#128557;表情，通过utf8mb4
摘要：mysql数据库的Character Set是 utf8mb4， Collation 是 utf8mb4_bin，如下图所示： sql语句： create table test_emoji(id int, emoji varchar(1000)); insert into test_emoji va 阅读全文
posted @ 2019-11-07 23:19 后山前堂客 阅读(471) 评论(0) 推荐(0)