摘要: Hive数据倾斜原因和解决办法(Data Skew) 什么是数据倾斜(Data Skew)? 数据倾斜是指在原本应该并行处理的数据集中,某一部分的数据显著多于其它部分,从而使得该部分数据的处理速度成为整个数据集处理的瓶颈。 假设数据分布不均匀,某个key对应几十万条数据,其他key对应几百条或几十条 阅读全文
posted @ 2021-01-15 12:37 潇湘灬隐者 阅读(1580) 评论(0) 推荐(0) 编辑
摘要: 1、Hbase shell客户端使用 a、进入客户端 hbase shell b、常用命令 list 列出Hbase中存在的所有表 alter 修改列簇(column family)模式 count 统计表中行的数量 create 创建表 describe 显示表相关的详细信息 delete 删除指 阅读全文
posted @ 2021-01-15 12:22 潇湘灬隐者 阅读(798) 评论(0) 推荐(0) 编辑
摘要: hdfs文件的相关操作主要使用hadoop fs、hadoop dfs、hdfs dfs 命令,以下对最常用的相关命令进行简要说明。 hadoop fs -ls 显示当前目录结构,-ls -R 递归显示目录结构 hadoop fs -mkdir 创建目录 hadoop fs -rm 删除文件,-rm 阅读全文
posted @ 2021-01-15 12:18 潇湘灬隐者 阅读(1199) 评论(0) 推荐(1) 编辑
摘要: Hive常用函数大全一览 1 关系运算 1.1 1、等值比较: = 1.2 2、不等值比较: 1.3 3、小于比较: < 1.4 4、小于等于比较: <= 1.5 5、大于比较: > 1.6 6、大于等于比较: >= 1.7 7、空值判断: IS NULL 1.8 8、非空判断: IS NOT NU 阅读全文
posted @ 2021-01-15 11:44 潇湘灬隐者 阅读(243) 评论(0) 推荐(0) 编辑
摘要: SQL常见的一些面试题(太有用啦) SQL常见面试题 1.用一条SQL 语句 查询出每门课都大于80 分的学生姓名 name kecheng fenshu张三 语文 81张三 数学 75李四 语文 76李四 数学 90王五 语文 81王五 数学 100王五 英语 90A: select distin 阅读全文
posted @ 2021-01-15 11:21 潇湘灬隐者 阅读(409) 评论(0) 推荐(0) 编辑