RICH-ATONE

Hadoop跳过回收站删除HDFS文件

摘要：参考： https://www.cnblogs.com/luengmingbiao/p/13161039.html 阅读全文

posted @ 2021-01-05 18:20 RICH-ATONE 阅读(1681) 评论(0) 推荐(0)

hadoop安全模式解除方法和为什么会安全模式

摘要： hadoop安全模式解除方法和为什么会安全模式阅读全文

posted @ 2021-01-05 14:19 RICH-ATONE 阅读(201) 评论(0) 推荐(0)

从业18年，我总结了9个最有价值的经验

摘要：从业18年，我总结了9个最有价值的经验阅读全文

posted @ 2021-01-04 15:04 RICH-ATONE 阅读(125) 评论(0) 推荐(0)

mysql复制整个数据库及数据

摘要：适用场景； 1.复制整个数据库及数据 2.hive元数据库的备份案例：现将hive库的数据表及数据拷贝到hive_backup数据库中方法一：操作简便，便于执行 mysqldump hive -hhadoop01 -uroot -proot --add-drop-table | mysql h 阅读全文

posted @ 2020-12-30 18:08 RICH-ATONE 阅读(1632) 评论(0) 推荐(0)

Oozie调度原理（queueName与launcher_queName详解）

摘要：有时候job.properties中会有两个定义参数 queueName=default launcher_queName=default(oozie，在Hadoop容量调度器配置文件进行指定)，不指定默认为default。适用情景将launcher队列和action队列分开。配置oozie.l 阅读全文

posted @ 2020-12-30 15:39 RICH-ATONE 阅读(758) 评论(0) 推荐(0)

Hive升级步骤详解

摘要： HIVE升级： 1、停止Hive相关进程 ps -ef | grep hive | grep -v grep | awk '{print $2}' | xargs kill -9 2、hive元数据备份方法一：mysqldump -htest-hadoop-2-21 -uroot -proot h 阅读全文

posted @ 2020-12-28 16:36 RICH-ATONE 阅读(714) 评论(0) 推荐(1)

Hive表设计压缩问题

摘要：对于压缩算法的选择，我们倾向于对不同场景选择不同的压缩算法。数仓一般被分为三层:ODS层: 源数据层 , 主要和数据源打交道原始日志一般采用 textFile存储，我们可以创建临时外部表，location指定原始日志位置，可以查询导入到ODS层,存储格式, 一般采用：ORC + ZLIB (从文阅读全文

posted @ 2020-12-28 15:12 RICH-ATONE 阅读(439) 评论(0) 推荐(1)

sql中join的on和where操作引发的谓词下推优化

摘要：谓词下推操作，其实Hive也陆陆续续做了一定的优化操作，但是有些地方还需要我们自己人为的去进行优化， 1.在join操作中，针对一般的单表过滤条件，操作的时候尽量直接进行谓词下推操作(即把过滤条件直接放到子查询当中)，不要把过滤条件在放到on后面的where条件中，防止查询的数据不准确性。 2.在j 阅读全文

posted @ 2020-12-25 17:23 RICH-ATONE 阅读(868) 评论(0) 推荐(0)

将毫秒转换成天小时分钟

摘要：将毫秒转换成天小时分钟阅读全文

posted @ 2020-12-24 18:45 RICH-ATONE 阅读(955) 评论(0) 推荐(0)

Flink集成Hive参考

摘要： Flink1.10集成Hive快速入门 Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12 阅读全文

posted @ 2020-12-22 10:34 RICH-ATONE 阅读(296) 评论(0) 推荐(0)