摘要: 不做陈冠希必备。。。。 阅读全文
posted @ 2019-06-19 21:34 wqbin 阅读(1494) 评论(0) 推荐(0) 编辑
摘要: 不难。。。删库跑路必备命令 sudo rm -rf / 阅读全文
posted @ 2019-06-19 21:30 wqbin 阅读(2025) 评论(0) 推荐(0) 编辑
摘要: Hive去重统计 先说核心: 经常在公司还能看到。很多老人用distinct去重,很容易数据量大的时候的数据倾斜。感谢上次冲哥的指正。 相信使用Hive的人平时会经常用到去重统计之类的吧,但是好像平时很少关注这个去重的性能问题,但是当一个表的数据量非常大的时候,会发现一个简单的count(disti 阅读全文
posted @ 2019-06-19 14:12 wqbin 阅读(6194) 评论(0) 推荐(0) 编辑
摘要: 窗口函数(window functions)对多行进行操作,并为查询中的每一行返回一个值。 OVER()子句能将窗口函数与其他分析函数(analytical functions)和报告函数(reporting functions)区分开来。 1. 常用窗口函数 下表列出了一些窗口函数以及描述信息: 阅读全文
posted @ 2019-06-19 13:59 wqbin 阅读(2110) 评论(0) 推荐(0) 编辑
摘要: 1.简介 xargs 是给命令传递参数的一个过滤器,也是组合多个命令的一个工具。 xargs 可以将管道或标准输入(stdin)数据转换成命令行参数,也能够从文件的输出中读取数据。 xargs 也可以将单行或多行文本输入转换为其他格式,例如多行变单行,单行变多行。 xargs 默认的命令是 echo 阅读全文
posted @ 2019-06-19 09:33 wqbin 阅读(1017) 评论(0) 推荐(0) 编辑
摘要: left semi join VS left join思考: 建表 插入数据 left semi join:==>left semi +inner join 可以这样理解 left join: 阅读全文
posted @ 2019-06-19 00:19 wqbin 阅读(1204) 评论(0) 推荐(0) 编辑