shell脚本中使用for循环开启并行方法
摘要：示例： 参考： shell脚本中使用for循环开启并行方法
阅读全文
posted @ 2022-05-28 12:25
05 2022 档案
Hadoop-动态刷新hdfs/yarn配置
摘要：在很多时候，修改了hadoop的配置后，希望立即生效，但是线上还有任务在执行，不能重启，可以执行以下命令让修改后的hdfs/yarn配置生效； 0、刷新yarn集群的队列 执行命令： ${HADOOP_HOME}/bin/yarn rmadmin -refreshQueues 或 yarn rmad
阅读全文
posted @ 2022-05-28 12:18
Shell脚本 单引号、双引号和反引号的区别
摘要：Shell脚本 单引号、双引号和反引号的区别
阅读全文
posted @ 2022-05-19 18:03
Hive中的文件存储格式TEXTFILE、SEQUENCEFILE、RCFILE、ORCFILE、Parquet 和 AVRO使用与区别详解
摘要：参考： https://blog.csdn.net/weixin_43230682/article/details/107185876
阅读全文
posted @ 2022-05-16 19:47
Hive：如何解决NULL值引发的数据倾斜
摘要：实际业务中有些大量的null值或者一些无意义的数据参与到计算作业中，表中有大量的null值，如果表之间进行join操作，就会有shuffle产生，这样所有的null值都会被分配到一个reduce中，必然产生数据倾斜。 疑问：NULL值和需要匹配的字段根本就匹配不上，为什么会进入到同一个reduce?
阅读全文
posted @ 2022-05-10 16:26
JetBrains全家桶破解
摘要：参考： https://tech.souyunku.com/?p=49896 https://souyunku.lanzoux.com/iccqv04bdz2b
阅读全文
posted @ 2022-05-08 17:17
