百里登风

导航

< 2025年3月 >
日 一 二 三 四 五 六
23 24 25 26 27 28 1
2 3 4 5 6 7 8
9 10 11 12 13 14 15
16 17 18 19 20 21 22
23 24 25 26 27 28 29
30 31 1 2 3 4 5

统计

上一页 1 2 3 4 5 6 ··· 36 下一页

2022年11月11日

银河麒麟系统申威cpu 部署airflow2

摘要： 一、准备Python3环境 通过修改系统的软链接，使默认python版本指向python3，这个方法是利用系统自带的python版本就行修改 1. whereis python //查看系统自带的python 2. 3. cd /usr/bin 4. 5. rm -rf python //删除默认的 阅读全文

posted @ 2022-11-11 10:53 百里登峰 阅读(538) 评论(0) 推荐(0) 编辑

2022年10月19日

Dinky的使用——实现多路输出

摘要： 其实多路输出就是制定多个个insert into语句，我这里以mysql数据库为例，实现三路输出的一个小案例 一、创建作业 二、编写flinksql代码 CREATE TABLE source_news( `id` INT, `timestamp` TIMESTAMP, `title` STRING 阅读全文

posted @ 2022-10-19 16:29 百里登峰 阅读(434) 评论(0) 推荐(0) 编辑

Dinky的使用——数据更新

摘要： 通过dinky写flinksql实现数据更新 通过upsert模式来实现表数据的更新，在定义表的时候必须要指定主键 可以参考文档：https://www.bookstack.cn/read/ApacheFlink-1.13-zh/6dd60342342b2f49.md 一、创建作业 二、编写flin 阅读全文

posted @ 2022-10-19 16:15 百里登峰 阅读(277) 评论(0) 推荐(0) 编辑

Dinky使用——数据覆盖

摘要： 关于使用flinksql实现数据覆盖功能，我个人不是很推荐，我也只是在local模式下实现的，目前支持数据覆盖的只要fliesystem、hive两种数据源 我这里以filesystem为例子，filesystem要使用insert overwrite语句，是针对分区表 可以参考文档：https:/ 阅读全文

posted @ 2022-10-19 15:55 百里登峰 阅读(337) 评论(0) 推荐(0) 编辑

Dinky的使用——gzip2mysql

摘要： 需求：将gzip压缩文件的数据同步到mysql数据库 gzip格式文件作为parquet格式的压缩文件存在，我们在获取的时候，通过hive创建表来获取 参考hive建表语句 create table table_name (id string, name string, score double) 阅读全文

posted @ 2022-10-19 15:06 百里登峰 阅读(125) 评论(0) 推荐(0) 编辑

Dinky的使用——parquet2mysql

摘要： 需求：将parquet数据文件同步数据到mysql数据库 需要通过创建parquet格式的hive表，从hdfs中将数据文件下载，我这里提前做好了 一、添加依赖包 在dinky的plugins目录和flink的lib目录下添加parquet文件格式的依赖包，并重启dinky和flink 依赖包下载地 阅读全文

posted @ 2022-10-19 14:03 百里登峰 阅读(181) 评论(0) 推荐(0) 编辑

Dinky的使用——snappy2mysql

摘要： 需求：将压缩文件snappy的数据同步到mysql数据库 snappy可以作为orc文件的压缩格式存在，所以在添加依赖包的时候，直接添加orc的依赖包就可以了 还有一点注意的是，在创建hive表的时候，指明snappy压缩 下面是一个hive建表举例 create table stu_orc(id 阅读全文

posted @ 2022-10-19 11:10 百里登峰 阅读(150) 评论(0) 推荐(0) 编辑

Dinky的使用——orc2mysql

摘要： 需求：将orc格式的数据文件同步数据到mysql数据库 由于orc格式的文件不能直接通过文本编辑器打开，也不是说简单的通过记事本写入一些数据，把扩展名改成orc就可以了 为了生成标准的orc格式文件，我们通过hive创建orc表，然后到hdfs上面把相应的保存文件下载下来，这样我们就可以明确我们表的 阅读全文

posted @ 2022-10-19 10:16 百里登峰 阅读(355) 评论(0) 推荐(0) 编辑

2022年10月18日

Dinky的使用——csv2mysql

摘要： 要求：通过dinky把csv的文本文件里面的数据同步到mysql数据库里面 一、添加依赖包 在dinky的pulgins和flink的lib目标下添加csv的依赖包，添加完后重启dink和flink 下载地址可参考：https://www.bookstack.cn/read/ApacheFlink- 阅读全文

posted @ 2022-10-18 19:21 百里登峰 阅读(201) 评论(0) 推荐(0) 编辑

Dinky的使用——kafka2mysql

摘要： 需求：通过在kafka的topic里面传入json串，再把数据同步到mysql中，这个也可以作为半结构化数据同步的案例 一、添加依赖包 将依赖包放到dinky的pulgins目录和flink的lib目录下，并重启dinky和flink 依赖包下载地址参考：https://www.bookstack. 阅读全文

posted @ 2022-10-18 18:32 百里登峰 阅读(952) 评论(0) 推荐(0) 编辑

上一页 1 2 3 4 5 6 ··· 36 下一页
点击右上角即可分享
微信分享提示