上一页 1 2 3 4 5 6 7 ··· 23 下一页
摘要: package it.bigdata.flink.study import java.util.Properties import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink 阅读全文
posted @ 2021-06-24 18:42 nohert 阅读(82) 评论(0) 推荐(0) 编辑
摘要: flink代码开发基础随记 1.常用设置 设置共享组:slotsharingGroup(“a”) 关闭合并任务链操作,每个任务独享solt:env.disableOperatorChaining() 设置并行度: env.setParallelism(1) Flatmap用法: FlatMap(Li 阅读全文
posted @ 2021-06-24 18:39 nohert 阅读(185) 评论(0) 推荐(0) 编辑
摘要: Flink运行时组件: JobManager 作业管理器 TaskManager 任务管理器 ResourceManager 资源管理器 Dispacher 分发器 阅读全文
posted @ 2021-06-24 18:37 nohert 阅读(153) 评论(0) 推荐(0) 编辑
摘要: Flink 命令: 提交任务: ./bin/flink run -c it.bigdata.flink.study.SteamWordCount -p 1 /root/jar/maven_flink-1.0-SNAPSHOT-jar-with-dependencies.jar --host 10.1 阅读全文
posted @ 2021-06-24 18:36 nohert 阅读(499) 评论(0) 推荐(0) 编辑
摘要: 1.打开idea,选择new project,跳转至如下界面: 2.单击next 下一步,输入项目名称,单击finish完成 3.在项目main项目下新建scala目录,并新建文件,文件名称为 hello.scala 4.新建文件之后,进入helllo.scala文件,会弹出添加sdk,添加自己版本 阅读全文
posted @ 2021-06-24 18:35 nohert 阅读(288) 评论(0) 推荐(1) 编辑
摘要: 1.下载安装包,flink-1.12.0-bin-scala_2.12.tgz 下载地址:https://flink.apache.org/downloads.html 2.解压安装包,tar -zvxf ./ flink-1.12.0-bin-scala_2.12.tgz -C ../softwa 阅读全文
posted @ 2021-06-24 18:31 nohert 阅读(590) 评论(0) 推荐(0) 编辑
摘要: 1.Tail -500f ./logs/example/example.log Failed to obtain JDBC Connection; nested exception is java.sql.SQLException 出现如上报错,canal启动成功,但是没有mysql的binlog日 阅读全文
posted @ 2021-06-24 18:18 nohert 阅读(830) 评论(0) 推荐(0) 编辑
摘要: 官网:https://codechina.csdn.net/mirrors/alibaba/canal?utm_source=csdn_github_accelerator 下载地址:https://github.com/alibaba/canal/releases 参考部署地址:https://b 阅读全文
posted @ 2021-06-24 18:15 nohert 阅读(366) 评论(0) 推荐(0) 编辑
摘要: 下载kafka安装包:http://archive.apache.org/dist/kafka/ 解压文件,修改kafka的config/server.properties里面的配置 server.properties配置中需要关注以下几个参数: # The id of the broker. Th 阅读全文
posted @ 2021-06-24 18:10 nohert 阅读(207) 评论(0) 推荐(0) 编辑
摘要: hive添加自定义函数方式有两种,一种是继承UDF ,另一种继承GenericUDF UDF开发较为方便,先新版本中已被弃用,建议使用GenericUDF org.apache.hadoop.hive.ql.exec.UDF GenericUDF开发更加灵活,但也增加了复杂成本 org.apache 阅读全文
posted @ 2021-06-19 10:21 nohert 阅读(902) 评论(0) 推荐(0) 编辑
上一页 1 2 3 4 5 6 7 ··· 23 下一页