Dinky的使用——实现多路输出
摘要：其实多路输出就是制定多个个insert into语句，我这里以mysql数据库为例，实现三路输出的一个小案例 一、创建作业 二、编写flinksql代码 CREATE TABLE source_news( `id` INT, `timestamp` TIMESTAMP, `title` STRING
阅读全文
posted @ 2022-10-19 16:29
随笔分类 - Dinky
Dinky的使用——数据更新
摘要：通过dinky写flinksql实现数据更新 通过upsert模式来实现表数据的更新，在定义表的时候必须要指定主键 可以参考文档：https://www.bookstack.cn/read/ApacheFlink-1.13-zh/6dd60342342b2f49.md 一、创建作业 二、编写flin
阅读全文
posted @ 2022-10-19 16:15
Dinky使用——数据覆盖
摘要：关于使用flinksql实现数据覆盖功能，我个人不是很推荐，我也只是在local模式下实现的，目前支持数据覆盖的只要fliesystem、hive两种数据源 我这里以filesystem为例子，filesystem要使用insert overwrite语句，是针对分区表 可以参考文档：https:/
阅读全文
posted @ 2022-10-19 15:55
Dinky的使用——gzip2mysql
摘要：需求：将gzip压缩文件的数据同步到mysql数据库 gzip格式文件作为parquet格式的压缩文件存在，我们在获取的时候，通过hive创建表来获取 参考hive建表语句 create table table_name (id string, name string, score double)
阅读全文
posted @ 2022-10-19 15:06
Dinky的使用——parquet2mysql
摘要：需求：将parquet数据文件同步数据到mysql数据库 需要通过创建parquet格式的hive表，从hdfs中将数据文件下载，我这里提前做好了 一、添加依赖包 在dinky的plugins目录和flink的lib目录下添加parquet文件格式的依赖包，并重启dinky和flink 依赖包下载地
阅读全文
posted @ 2022-10-19 14:03
Dinky的使用——snappy2mysql
摘要：需求：将压缩文件snappy的数据同步到mysql数据库 snappy可以作为orc文件的压缩格式存在，所以在添加依赖包的时候，直接添加orc的依赖包就可以了 还有一点注意的是，在创建hive表的时候，指明snappy压缩 下面是一个hive建表举例 create table stu_orc(id
阅读全文
posted @ 2022-10-19 11:10
Dinky的使用——orc2mysql
摘要：需求：将orc格式的数据文件同步数据到mysql数据库 由于orc格式的文件不能直接通过文本编辑器打开，也不是说简单的通过记事本写入一些数据，把扩展名改成orc就可以了 为了生成标准的orc格式文件，我们通过hive创建orc表，然后到hdfs上面把相应的保存文件下载下来，这样我们就可以明确我们表的
阅读全文
posted @ 2022-10-19 10:16
Dinky的使用——csv2mysql
摘要：要求：通过dinky把csv的文本文件里面的数据同步到mysql数据库里面 一、添加依赖包 在dinky的pulgins和flink的lib目标下添加csv的依赖包，添加完后重启dink和flink 下载地址可参考：https://www.bookstack.cn/read/ApacheFlink-
阅读全文
posted @ 2022-10-18 19:21
Dinky的使用——kafka2mysql
摘要：需求：通过在kafka的topic里面传入json串，再把数据同步到mysql中，这个也可以作为半结构化数据同步的案例 一、添加依赖包 将依赖包放到dinky的pulgins目录和flink的lib目录下，并重启dinky和flink 依赖包下载地址参考：https://www.bookstack.
阅读全文
posted @ 2022-10-18 18:32
Dinky的使用——hbase2mysql
摘要：要求：通过dinky把hbase的表数据导到mysql中，这种通常是用来模拟半结构化数据同步的场景 因为hbase是基于列存储的，不需要每个列都是有值的，通过列簇管理列，当然想了解hbase的表结构可以参考：https://www.cnblogs.com/braveym/p/7708332.html
阅读全文
posted @ 2022-10-18 17:52
Dinky使用——mysql2clickhouse
摘要：要求：通过Dinky把mysql的数据导到clickhouse数据库 对于dinky的安装部署，以及dinky集成clickhouse数据库需要那些jar包可以参考：https://www.cnblogs.com/braveym/p/16455534.html 这里我需要提醒，需要我们提前把mysq
阅读全文
posted @ 2022-10-18 16:41
Dinky 0.6.5安装部署
摘要：一、编译 拉取源码 https://github.com/DataLinkDC/dlink/tree/dev 我建议拉取0.6.5版本分支的 可以在linux下编译 也可以通过idea环境下编译，从我编译的经验来，还是建议大家在idea环境下编译，如果有依赖包真的不能下载，可以通过购买vpn ide
阅读全文
posted @ 2022-07-07 18:26
