RICH-ATONE

上一页 1 ··· 29 30 31 32 33

2020年9月23日 #

hive中split后计算最后指定位数的字段值（从后往前推的索引值）

摘要： 假设字段样式如下： a,b,c,d a,c,b a,f,g,h,j 想要取出倒数第一位的数（结果如下）： c c h 实现如下： 方法一： select split(temp_column,',')[size(split(temp_column,',')-1)] from test001 ; 方法二 阅读全文

posted @ 2020-09-23 23:14 RICH-ATONE 阅读(2776) 评论(0) 推荐(0) 编辑

2020年9月22日 #

数据建模的原因与实施

摘要： 1.主要是从 性能、成本、效率、质量这几个方面考虑 2.进行数据调研和业务调研，调研的是否充分、将会直接决定数据仓库的建设是否成功 3.规范化和非规范化区别与选择 数据仓库的定义 数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合，用来支持管理人员的决策。其中数据集成是数据仓库的四个特 阅读全文

posted @ 2020-09-22 17:10 RICH-ATONE 阅读(298) 评论(0) 推荐(0) 编辑

2020年9月17日 #

数据分析与需求方的沟通与交流

摘要： 转发 ：https://mp.weixin.qq.com/s?__biz=MzU4NjgzNzk4MQ==&mid=2247484308&idx=1&sn=60003825f6db0fe23909a25941da7982&chksm=fdf47926ca83f03000d71c1aab3523689 阅读全文

posted @ 2020-09-17 18:41 RICH-ATONE 阅读(199) 评论(0) 推荐(0) 编辑

2020年9月16日 #

hive 未初始化元数据库报错

摘要： 报错： Caused by: com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'hive.DELETEME1600214969848' doesn't exist 。。。。。 参考： https://www.cnblo 阅读全文

posted @ 2020-09-16 10:41 RICH-ATONE 阅读(211) 评论(0) 推荐(0) 编辑

2020年9月8日 #

hive多并发问题报错：Caused by: java.sql.BatchUpdateException: Duplicate entry 'admin-ROLE-All-admin-ROLE' for key 'GLOBALPRIVILEGEINDEX'

摘要： 报错日志： at org.apache.hadoop.hive.metastore.RawStoreProxy.invoke(RawStoreProxy.java:114) at com.sun.proxy.$Proxy82.grantPrivileges(Unknown Source) at or 阅读全文

posted @ 2020-09-08 10:41 RICH-ATONE 阅读(5026) 评论(0) 推荐(0) 编辑

2020年9月3日 #

hive报错FAILED: SemanticException [Error 10210]: Grouping sets aggregations (with rollups or cubes) are not allowed if aggregation function parameters overlap with the aggregation functions columns

摘要： 检查sql是否存在引用多个表的字段 或者case when的字段和聚函数(例如count、sum)中的字段是否有重复，导致冲突 阅读全文

posted @ 2020-09-03 13:17 RICH-ATONE 阅读(2135) 评论(0) 推荐(0) 编辑

2019年9月20日 #

redis缓存穿透和雪崩

摘要： Redis缓存穿透和缓存雪崩解决方案 redis的缓存有哪些问题？一致性？击穿？雪崩等是如何解决的？ 缓存穿透：是指查询一个一定不存在的数据。由于缓存命不中时会去查询数据库，查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到数据库去查询，造成缓存穿透。 解决方案： 雪崩：如果缓存集中在一 阅读全文

posted @ 2019-09-20 20:01 RICH-ATONE 阅读(272) 评论(0) 推荐(0) 编辑

2019年9月17日 #

HBase架构详解

摘要： HBase架构： 1**）Client** Client包含了访问Hbase的接口，另外Client还维护了对应的cache来加速Hbase的访问，比如cache的.META.元数据的信息。 2**）Zookeeper** HBase通过Zookeeper来做master的高可用、RegionSer 阅读全文

posted @ 2019-09-17 21:50 RICH-ATONE 阅读(618) 评论(0) 推荐(0) 编辑

Rowkey设计原则

摘要： 前言：热点问题的产生？ HBase表的数据是按照RowKey来分散到不同的Region，不合理的RowKey设计会导致热点问题，(不论是读还是写，首先是找region) Regionserver内部按照什么来进行分配数据：rowkey字典排序 ; 读的时候： 热点问题是大量的客户端直接访问集群中的一 阅读全文

posted @ 2019-09-17 20:20 RICH-ATONE 阅读(2122) 评论(0) 推荐(0) 编辑

2019年9月10日 #

大数据高频面试题

摘要： 面试中的问题（重点）** 1. RDD的特性（RDD的解释）1.RDD可以看做是一些列partition所组成的2.RDD之间的依赖关系3.算子是作用在partition之上的4.分区器是作用在kv形式的RDD上5.partition提供的最佳计算位置,利于数据处理的本地化即计算向数据移动而不是移动 阅读全文

posted @ 2019-09-10 14:40 RICH-ATONE 阅读(974) 评论(0) 推荐(0) 编辑

上一页 1 ··· 29 30 31 32 33

导航