2020 年 12月随笔档案 - RICH-ATONE

mysql复制整个数据库及数据

摘要：适用场景； 1.复制整个数据库及数据 2.hive元数据库的备份案例：现将hive库的数据表及数据拷贝到hive_backup数据库中方法一：操作简便，便于执行 mysqldump hive -hhadoop01 -uroot -proot --add-drop-table | mysql h 阅读全文

posted @ 2020-12-30 18:08 RICH-ATONE 阅读(1605) 评论(0) 推荐(0) 编辑

Oozie调度原理（queueName与launcher_queName详解）

摘要：有时候job.properties中会有两个定义参数 queueName=default launcher_queName=default(oozie，在Hadoop容量调度器配置文件进行指定)，不指定默认为default。适用情景将launcher队列和action队列分开。配置oozie.l 阅读全文

posted @ 2020-12-30 15:39 RICH-ATONE 阅读(727) 评论(0) 推荐(0) 编辑

Hive升级步骤详解

摘要：HIVE升级： 1、停止Hive相关进程 ps -ef | grep hive | grep -v grep | awk '{print $2}' | xargs kill -9 2、hive元数据备份方法一：mysqldump -htest-hadoop-2-21 -uroot -proot h 阅读全文

posted @ 2020-12-28 16:36 RICH-ATONE 阅读(637) 评论(0) 推荐(1) 编辑

Hive表设计压缩问题

摘要：对于压缩算法的选择，我们倾向于对不同场景选择不同的压缩算法。数仓一般被分为三层:ODS层: 源数据层 , 主要和数据源打交道原始日志一般采用 textFile存储，我们可以创建临时外部表，location指定原始日志位置，可以查询导入到ODS层,存储格式, 一般采用：ORC + ZLIB (从文阅读全文

posted @ 2020-12-28 15:12 RICH-ATONE 阅读(394) 评论(0) 推荐(1) 编辑

sql中join的on和where操作引发的谓词下推优化

摘要：谓词下推操作，其实Hive也陆陆续续做了一定的优化操作，但是有些地方还需要我们自己人为的去进行优化， 1.在join操作中，针对一般的单表过滤条件，操作的时候尽量直接进行谓词下推操作(即把过滤条件直接放到子查询当中)，不要把过滤条件在放到on后面的where条件中，防止查询的数据不准确性。 2.在j 阅读全文

posted @ 2020-12-25 17:23 RICH-ATONE 阅读(823) 评论(0) 推荐(0) 编辑

将毫秒转换成天小时分钟

摘要：将毫秒转换成天小时分钟阅读全文

posted @ 2020-12-24 18:45 RICH-ATONE 阅读(945) 评论(0) 推荐(0) 编辑

Flink集成Hive参考

摘要：Flink1.10集成Hive快速入门 Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12 阅读全文

posted @ 2020-12-22 10:34 RICH-ATONE 阅读(281) 评论(0) 推荐(0) 编辑

MySQL实现对身份证格式验证

摘要：参考： Mysql自定义函数：身份证号码的真实性判定 mysql 身份证明号码正则表达式阅读全文

posted @ 2020-12-21 10:30 RICH-ATONE 阅读(2698) 评论(0) 推荐(0) 编辑

基于Flink1.11的SQL构建实时数仓探索实践

摘要：参考：基于Flink1.11的SQL构建实时数仓探索实践同上阅读全文

posted @ 2020-12-17 18:23 RICH-ATONE 阅读(286) 评论(0) 推荐(0) 编辑

ERROR 1093 (HY000): You can't specify target table 'xxx' for update in FROM clause 问题解决

摘要：在mysql中，不能通过嵌套子查询来直接删除或者修改记录，需要通过别名来指定嵌套子查询作为一个临时表。参考： https://blog.csdn.net/feinifi/article/details/80280578 阅读全文

posted @ 2020-12-17 17:10 RICH-ATONE 阅读(403) 评论(0) 推荐(0) 编辑

Flink SQL CDC 详解

摘要：官网详解： https://ci.apache.org/projects/flink/flink-docs-release-1.12/zh/dev/table/connectors/jdbc.html https://ci.apache.org/projects/flink/flink-docs-r 阅读全文

posted @ 2020-12-16 16:54 RICH-ATONE 阅读(1573) 评论(0) 推荐(1) 编辑

程序员创业及如何提高影响力

摘要：技术人员的成长路径程序员如何提高影响力技术创业者如何突破创业瓶颈阅读全文

posted @ 2020-12-14 18:35 RICH-ATONE 阅读(135) 评论(0) 推荐(0) 编辑

Hive高阶函数posexplode（可以用于生成动态日期序列）

摘要：示例1：现要生成start_time('2020-11-01')到end_time("2020-11-30")之间的所有日期 select i, date_add('2020-11-01', pe.i) as dynamic_date ,'2020-11-01' as start_time, '2 阅读全文

posted @ 2020-12-11 18:46 RICH-ATONE 阅读(9211) 评论(0) 推荐(1) 编辑

Hive使用ORC格式存储进行优化

摘要：参考官网： https://cwiki.apache.org/confluence/display/Hive/LanguageManual+ORC 参考：更高的压缩比，更好的性能–使用ORC文件格式优化Hive 大数据：Hive - ORC 文件存储格式阅读全文

posted @ 2020-12-11 18:03 RICH-ATONE 阅读(443) 评论(0) 推荐(0) 编辑

py实现binlog2sql（数据快速回滚，修复丢失数据等）

摘要：https://github.com/danfengcao/binlog2sql 阅读全文

posted @ 2020-12-10 18:29 RICH-ATONE 阅读(150) 评论(0) 推荐(0) 编辑

Shell bash脚本查询Mysql并简单处理查询结果

摘要：参考： https://www.jianshu.com/p/caa8d3adf1ba 阅读全文

posted @ 2020-12-09 16:17 RICH-ATONE 阅读(442) 评论(0) 推荐(0) 编辑

Caused by: java.lang.ClassNotFoundException: org.apache.flink.streaming.api.scala.StreamExecutionEnv

摘要：Flink报错 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/flink/streaming/api/environment/StreamExecutionEnvironment at csdn.xdoct 阅读全文

posted @ 2020-12-08 23:31 RICH-ATONE 阅读(7628) 评论(0) 推荐(1) 编辑

Flink的部署方式

摘要：local模式：适用于本地开发和测试环境，占用的资源较少，部署简单，只需要部署JDK和flink即可达到功能开发和测试的目的。只需要一台主机即可。 standalone cluster：可以在测试环境功能验证完毕到版本发布的时候使用，进行性能验证。搭建需要ssh jdk和flink。至少需要3台主阅读全文

posted @ 2020-12-08 22:44 RICH-ATONE 阅读(1270) 评论(0) 推荐(0) 编辑

Flink线上环境搭建

摘要：Flink 集群搭建(基于flink on YARN模式) Flink HA高可以集群搭建(生产环境Flink Cluster On YARN) 阅读全文

posted @ 2020-12-08 22:39 RICH-ATONE 阅读(217) 评论(0) 推荐(0) 编辑

数仓及数据治理相关

摘要：文章参考：数据治理及元数据概念相关美团配送数据治理实践数据埋点相关读透华为数据之道数据标准规范参考数据库、数据湖、数据仓库、湖仓一体、智能湖仓，分别都是什么鬼？相关数据治理工具： nebula graph （图数据库）作为技术人员还是需要会拆自己的任务，给出工作量评估。给活可以，代阅读全文

posted @ 2020-12-04 11:30 RICH-ATONE 阅读(414) 评论(0) 推荐(0) 编辑

Hive动态分区详解及注意的问题

摘要：设置动静态混合分区报错： FAILED: SemanticException [Error 10094]: Line 1:60 Dynamic partition cannot be the parent of a static partition 'xxx' 注意： 1.当设置动静态分区混合的时候阅读全文

posted @ 2020-12-03 18:51 RICH-ATONE 阅读(1485) 评论(0) 推荐(0) 编辑

lateral view explode行转列的简单使用

摘要：示例数据： des字段： 6ab4c|6ab46|6ab47|6ab48|6ab49|6abc0|6abc1|6abc2|6abc3|6abc4|6abcc|6abc6|6abc7type字段： 6df4c|6df46|6df47|6df48|6df49|6dfc0|6dfc1|6dfc2|6dfc 阅读全文

posted @ 2020-12-03 10:50 RICH-ATONE 阅读(753) 评论(0) 推荐(0) 编辑

MachineLearning

摘要：机器学习模型训练全流程！数据从业者的自我修养阅读全文

posted @ 2020-12-01 15:00 RICH-ATONE 阅读(110) 评论(0) 推荐(0) 编辑

RICH-ATONE

12 2020 档案