查看linux硬盘是否为固态硬盘
摘要：https://blog.csdn.net/qq_42303254/article/details/89317618
阅读全文
posted @ 2020-09-28 14:19
09 2020 档案
集群监控
摘要：https://github.com/linkedin/dr-elephant
阅读全文
posted @ 2020-09-24 19:01
hive 类似oracle的 decode函数
摘要：Oracle的decode函数语法：DECODE(value,if1,then1,if2,thne2,if3,then3,...else)。 首先涉及到的问题是输入参数的动态化，decode函数要求输入函数是偶数个，然后实现类似if，else的逻辑判断功能。这样的话用到了java的Object ..
阅读全文
posted @ 2020-09-24 16:53
hive中split后计算最后指定位数的字段值（从后往前推的索引值）
摘要：假设字段样式如下： a,b,c,d a,c,b a,f,g,h,j 想要取出倒数第一位的数（结果如下）： c c h 实现如下： 方法一： select split(temp_column,',')[size(split(temp_column,',')-1)] from test001 ; 方法二
阅读全文
posted @ 2020-09-23 23:14
数据建模的原因与实施
摘要：1.主要是从 性能、成本、效率、质量这几个方面考虑 2.进行数据调研和业务调研，调研的是否充分、将会直接决定数据仓库的建设是否成功 3.规范化和非规范化区别与选择 数据仓库的定义 数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。其中数据集成是数据仓库的四个特
阅读全文
posted @ 2020-09-22 17:10
数据分析与需求方的沟通与交流
摘要：转发 ：https://mp.weixin.qq.com/s?__biz=MzU4NjgzNzk4MQ==&mid=2247484308&idx=1&sn=60003825f6db0fe23909a25941da7982&chksm=fdf47926ca83f03000d71c1aab3523689
阅读全文
posted @ 2020-09-17 18:41
hive 未初始化元数据库报错
摘要：报错： Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.DELETEME1600214969848' doesn't exist 。。。。。 参考： https://www.cnblo
阅读全文
posted @ 2020-09-16 10:41
hive多并发问题报错：Caused by: java.sql.BatchUpdateException: Duplicate entry 'admin-ROLE-All-admin-ROLE' for key 'GLOBALPRIVILEGEINDEX'
摘要：报错日志： at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:114) at com.sun.proxy.$Proxy82.grantPrivileges(Unknown Source) at or
阅读全文
posted @ 2020-09-08 10:41
hive报错FAILED: SemanticException [Error 10210]: Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns
摘要：检查sql是否存在引用多个表的字段 或者case when的字段和聚函数(例如count、sum)中的字段是否有重复，导致冲突
阅读全文
posted @ 2020-09-03 13:17
