05 2021 档案

[SparkSQL] hive.exec.max.dynamic.partitions配置不起作用
摘要：参考：https://issues.apache.org/jira/browse/SPARK-21574 问题描述： 动态分区插入的时候报错 Caused by: org.apache.hadoop.hive.ql.metadata.HiveException: Number of dynamic 阅读全文
posted @ 2021-05-27 19:40 梦醒江南·Infinite 阅读(1064) 评论(0) 推荐(0) 编辑
Excel分数转为百分数
摘要：参考：https://zhidao.baidu.com/question/1238911457905428779.html 思路：先将分数转为小数，再将小数转为百分数 =TEXT(LEFT(B10,FIND("/",B10)-1)/RIGHT(B10,LEN(B10)-FIND("/",B10)), 阅读全文
posted @ 2021-05-27 14:43 梦醒江南·Infinite 阅读(600) 评论(0) 推荐(0) 编辑
Hadoop YARN主资源调度算法
摘要：来源：《Hadoop技术内幕: 深入解析YARN架构设计与实现原理》 (董西成) 第6章 资源调度器 为了支持多维资源调度，YARN资源调度器采用了主资源公平调度算法（Dominant Resource Fairness，DRF），该算法扩展了最大最小公平（max-min fairness）算法，使 阅读全文
posted @ 2021-05-12 11:03 梦醒江南·Infinite 阅读(300) 评论(0) 推荐(0) 编辑
Hive内置字符串函数及其示例
摘要：来源：https://sparkbyexamples.com/apache-hive/hive-built-in-string-functions-with-examples/ Hive supports several built-in string functions similar to SQ 阅读全文
posted @ 2021-05-11 15:01 梦醒江南·Infinite 阅读(368) 评论(0) 推荐(0) 编辑
Hive 从json中提取出所有key
摘要：考虑一个简单的json: {"openid":"a43dd9f","unionid":"cae4332f"} 在hive中如何提取出这个json的key呢？一个思路是利用正则表达式替换，将非key的部分去除并设置一个分割符，最后切分这个字符串就可以得到json的key，如有特殊需要还可利用explo 阅读全文
posted @ 2021-05-10 19:49 梦醒江南·Infinite 阅读(7266) 评论(1) 推荐(0) 编辑
JSON官方网站
摘要：没想到json还有官网，有意思 https://www.json.org/json-en.html 阅读全文
posted @ 2021-05-10 17:02 梦醒江南·Infinite 阅读(621) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示