基于Flink1.11的SQL构建实时数仓探索实践
摘要：
参考： 基于Flink1.11的SQL构建实时数仓探索实践 同上 阅读全文
posted @ 2020-12-17 18:23 RICH-ATONE 阅读(271) 评论(0) 推荐(0) 编辑
2020年12月17日 #
ERROR 1093 (HY000): You can't specify target table 'xxx' for update in FROM clause 问题解决
摘要：
在mysql中，不能通过嵌套子查询来直接删除或者修改记录，需要通过别名来指定嵌套子查询作为一个临时表。 参考： https://blog.csdn.net/feinifi/article/details/80280578 阅读全文
posted @ 2020-12-17 17:10 RICH-ATONE 阅读(295) 评论(0) 推荐(0) 编辑
2020年12月16日 #
Flink SQL CDC 详解
摘要：
官网详解： https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/jdbc.html https://ci.apache.org/projects/flink/flink-docs-r 阅读全文
posted @ 2020-12-16 16:54 RICH-ATONE 阅读(1553) 评论(0) 推荐(1) 编辑
2020年12月14日 #
程序员创业及如何提高影响力
摘要：
技术人员的成长路径 程序员如何提高影响力 技术创业者如何突破创业瓶颈 阅读全文
posted @ 2020-12-14 18:35 RICH-ATONE 阅读(111) 评论(0) 推荐(0) 编辑
2020年12月11日 #
Hive高阶函数posexplode（可以用于生成动态日期序列）
摘要：
示例1： 现要生成start_time('2020-11-01')到end_time("2020-11-30")之间的所有日期 select i, date_add('2020-11-01', pe.i) as dynamic_date ,'2020-11-01' as start_time, '2 阅读全文
posted @ 2020-12-11 18:46 RICH-ATONE 阅读(8665) 评论(0) 推荐(1) 编辑
Hive使用ORC格式存储进行优化
摘要：
参考官网： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC 参考： 更高的压缩比，更好的性能–使用ORC文件格式优化Hive 大数据：Hive - ORC 文件存储格式 阅读全文
posted @ 2020-12-11 18:03 RICH-ATONE 阅读(417) 评论(0) 推荐(0) 编辑
2020年12月10日 #
py实现binlog2sql（数据快速回滚，修复丢失数据等）
摘要：
https://github.com/danfengcao/binlog2sql 阅读全文
posted @ 2020-12-10 18:29 RICH-ATONE 阅读(131) 评论(0) 推荐(0) 编辑
2020年12月9日 #
Shell bash脚本查询Mysql并简单处理查询结果
摘要：
参考： https://www.jianshu.com/p/caa8d3adf1ba 阅读全文
posted @ 2020-12-09 16:17 RICH-ATONE 阅读(426) 评论(0) 推荐(0) 编辑
2020年12月8日 #
Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.api.scala.StreamExecutionEnv
摘要：
Flink报错 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/environment/StreamExecutionEnvironment at csdn.xdoct 阅读全文
posted @ 2020-12-08 23:31 RICH-ATONE 阅读(7170) 评论(0) 推荐(1) 编辑
Flink的部署方式
摘要：
local模式：适用于本地开发和测试环境，占用的资源较少，部署简单 ，只需要部署JDK和flink即可达到功能开发和测试的目的。只需要一台主机即可。 standalone cluster：可以在测试环境功能验证完毕到版本发布的时候使用，进行性能验证。搭建需要ssh jdk和flink。至少需要3台主 阅读全文
posted @ 2020-12-08 22:44 RICH-ATONE 阅读(1232) 评论(0) 推荐(0) 编辑
