hadoop安全模式解除方法和为什么会安全模式
摘要：
hadoop安全模式解除方法和为什么会安全模式 阅读全文
posted @ 2021-01-05 14:19 RICH-ATONE 阅读(173) 评论(0) 推荐(0) 编辑
2021年1月5日 #
2021年1月4日 #
从业18年，我总结了9个最有价值的经验
摘要：
从业18年，我总结了9个最有价值的经验 阅读全文
posted @ 2021-01-04 15:04 RICH-ATONE 阅读(94) 评论(0) 推荐(0) 编辑
2020年12月30日 #
mysql复制整个数据库及数据
摘要：
适用场景； 1.复制整个数据库及数据 2.hive元数据库的备份 案例：现将hive库的数据表及数据拷贝到hive_backup数据库中 方法一： 操作简便，便于执行 mysqldump hive -hhadoop01 -uroot -proot --add-drop-table | mysql h 阅读全文
posted @ 2020-12-30 18:08 RICH-ATONE 阅读(1570) 评论(0) 推荐(0) 编辑
Oozie调度原理（queueName与launcher_queName详解）
摘要：
有时候job.properties中会有两个定义参数 queueName=default launcher_queName=default(oozie，在Hadoop容量调度器配置文件进行指定)，不指定默认为default。 适用情景将launcher队列和action队列分开。 配置oozie.l 阅读全文
posted @ 2020-12-30 15:39 RICH-ATONE 阅读(675) 评论(0) 推荐(0) 编辑
2020年12月28日 #
Hive升级步骤详解
摘要：
HIVE升级： 1、停止Hive相关进程 ps -ef | grep hive | grep -v grep | awk '{print $2}' | xargs kill -9 2、hive元数据备份 方法一：mysqldump -htest-hadoop-2-21 -uroot -proot h 阅读全文
posted @ 2020-12-28 16:36 RICH-ATONE 阅读(563) 评论(0) 推荐(1) 编辑
Hive表设计压缩问题
摘要：
对于压缩算法的选择，我们倾向于对不同场景选择不同的压缩算法。 数仓一般被分为三层:ODS层: 源数据层 , 主要和数据源打交道原始日志一般采用 textFile存储 ，我们可以创建临时外部表，location指定原始日志位置，可以查询导入到ODS层,存储格式, 一般采用：ORC + ZLIB (从文 阅读全文
posted @ 2020-12-28 15:12 RICH-ATONE 阅读(375) 评论(0) 推荐(1) 编辑
2020年12月25日 #
sql中join的on和where操作引发的谓词下推优化
摘要：
谓词下推操作，其实Hive也陆陆续续做了一定的优化操作，但是有些地方还需要我们自己人为的去进行优化， 1.在join操作中，针对一般的单表过滤条件，操作的时候尽量直接进行谓词下推操作(即把过滤条件直接放到子查询当中)，不要把过滤条件在放到on后面的where条件中，防止查询的数据不准确性。 2.在j 阅读全文
posted @ 2020-12-25 17:23 RICH-ATONE 阅读(763) 评论(0) 推荐(0) 编辑
2020年12月24日 #
2020年12月22日 #
Flink集成Hive参考
摘要：
Flink1.10集成Hive快速入门 Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12 阅读全文
posted @ 2020-12-22 10:34 RICH-ATONE 阅读(267) 评论(0) 推荐(0) 编辑
2020年12月21日 #
MySQL实现对身份证格式验证
摘要：
参考： Mysql自定义函数：身份证号码的真实性判定 mysql 身份证明号码 正则表达式 阅读全文
posted @ 2020-12-21 10:30 RICH-ATONE 阅读(2551) 评论(0) 推荐(0) 编辑
