随笔分类 -  sql

hive 。。。
hive抽样
摘要：在Hive中提供了数据取样（SAMPLING）的功能，用来从Hive表中根据一定的规则进行数据取样，Hive中的数据取样支持分桶表取样和数据块取样。 16.1 数据块取样（Block Sampling） block_sample: TABLESAMPLE (n PERCENT) 根据输入的input 阅读全文
posted @ 2018-11-22 14:41 change_world 阅读(906) 评论(0) 推荐(0)
hive 时间函数
摘要：1、日期函数1）时间戳：unix_timestamp/from_unixtimeselect unix_timestamp(); --查询当前时间的时间戳，返回 1486524284select unix_timestamp('2017-02-08 11:15:50'); --查询指定时间的时间戳， 阅读全文
posted @ 2018-10-16 09:52 change_world 阅读(3513) 评论(0) 推荐(0)
hive 函数大全
摘要：一、关系运算： 1. 等值比较: = 语法：A=B 操作类型：所有基本类型 描述:如果表达式A与表达式B相等，则为TRUE；否则为FALSE 举例： hive>select 1 from lxw_dual where 1=1; 1 2. 不等值比较: <> 语法: A <> B 操作类型:所有基本类 阅读全文
posted @ 2018-05-30 12:33 change_world 阅读(397) 评论(0) 推荐(0)
hive聚合函数
摘要：聚合函数 下表为Hive内置的聚合函数。 返回类型 函数名 描述 BIGINT count(*) count(expr) count(DISTINCT expr[, expr_.]) count(*) – 返回检索到的行的总数，包括含有NULL值的行。count(expr) – 返回expr表达式不 阅读全文
posted @ 2018-04-11 20:17 change_world 阅读(4770) 评论(0) 推荐(0)
hive计算分位数
摘要：hive里面倒是有个percentile函数和percentile_approx函数，其使用方式为percentile(col, p)、percentile_approx(col, p)，p∈(0,1)p∈(0,1) 其中percentile要求输入的字段必须是int类型的，而percentile_ 阅读全文
posted @ 2018-04-11 20:16 change_world 阅读(12178) 评论(0) 推荐(0)
hive--lag和lead 分析函数
摘要：http://blog.csdn.net/mazongqiang/article/details/7621330 oracle 的分析函数是非常好的一个功能，借助它们，我们可以很方便的实现一些特殊的语句需求，省去了自己实现的诸多麻烦。今天用到了lag 和lead 这两个分析函数，稍稍整理一下。lag 阅读全文
posted @ 2018-04-11 15:01 change_world 阅读(1161) 评论(0) 推荐(0)
分区函数Partition By的与row_number()的用法以及与排序rank()的用法详解(获取分组(分区)中前几条记录)
摘要：partition by关键字是分析性函数的一部分，它和聚合函数不同的地方在于它能返回一个分组中的多条记录，而聚合函数一般只有一条反映统计值的记录，partition by用于给结果集分组，如果没有指定那么它把整个结果集作为一个分组，分区函数一般与排名函数一起使用。 准备测试数据： 一、分区函数Pa 阅读全文
posted @ 2018-04-11 15:00 change_world 阅读(454) 评论(0) 推荐(0)
Hive中生成随机唯一标识ID的方法
摘要：HIVE中处理的数据往往比较多，在处理数据的时候希望给处理得到的数据一个ID标识，这时候可以用到UUID。 UUID的算法的核心思想是结合机器的网卡、当地时间、一个随即数来生成UUID。从理论上讲，如果一台机器每秒产生10000000个UUID，则可以保证（概率意义上）3240年不重复。UUID 的 阅读全文
posted @ 2018-04-11 14:39 change_world 阅读(12834) 评论(0) 推荐(2)
Hive实现自增列的两种方法
摘要：多维数据仓库中的维度表和事实表一般都需要有一个代理键，作为这些表的主键，代理键一般由单列的自增数字序列构成。Hive没有关系数据库中的自增列，但它也有一些对自增序列的支持，通常有两种方法生成代理键：使用row_number()窗口函数或者使用一个名为UDFRowSequence的用户自定义函数（UD 阅读全文
posted @ 2018-04-11 14:38 change_world 阅读(6258) 评论(0) 推荐(1)
一个非常有用的函数——COALESCE - CSDN博客
摘要：很多人知道ISNULL函数，但是很少人知道Coalesce函数，人们会无意中使用到Coalesce函数，并且发现它比ISNULL更加强大，其实到目前为止，这个函数的确非常有用，本文主要讲解其中的一些基本使用： 首先看看联机丛书的简要定义： 返回其参数中第一个非空表达式 语法： COALESCE ( 阅读全文
posted @ 2018-04-11 10:12 change_world 阅读(37362) 评论(0) 推荐(0)
【Hadoop基础】hadoop fs 命令
摘要：1，hadoop fs –fs [local | <file system URI>]：声明hadoop使用的文件系统，如果不声明的话，使用当前配置文件配置的，按如下顺序查找：hadoop jar里的hadoop-default.xml->$HADOOP_CONF_DIR下的hadoop-defau 阅读全文
posted @ 2018-04-10 19:33 change_world 阅读(929) 评论(0) 推荐(0)
[SQL case when的两种用法]
摘要：当我们需要从数据源上 直接判断数据显示代表的含义的时候 ,就可以在SQL语句中使用 Case When这个函数了. Case具有两种格式。简单Case函数和Case搜索函数。 第一种 格式 : 简单Case函数 : 格式说明 case 列名 when 条件值1 then 选择项1 when 条件值2 阅读全文
posted @ 2018-04-10 18:44 change_world 阅读(5310) 评论(0) 推荐(0)
sql 语句NVL（）用法
摘要：一NVL函数是一个空值转换函数NVL（表达式1，表达式2）如果表达式1为空值，NVL返回值为表达式2的值，否则返回表达式1的值。 该函数的目的是把一个空值（null）转换成一个实际的值。其表达式的值可以是数字型、字符型和日期型。但是表达式1和表达式2的数据类型必须为同一个类型。对数字型： NVL（ 阅读全文
posted @ 2018-04-10 17:58 change_world 阅读(154789) 评论(0) 推荐(8)
HIVE 时间操作函数
摘要：日期函数UNIX时间戳转日期函数: from_unixtime语法: from_unixtime(bigint unixtime[, string format]) 返回值: string 说明: 转化UNIX时间戳（从1970-01-01 00:00:00 UTC到指定时间的秒数）到当前时区的时间 阅读全文
posted @ 2018-04-10 17:19 change_world 阅读(1000) 评论(0) 推荐(0)
sql with as 用法
摘要：以下内容转自：http://wudataoge.blog.163.com/blog/static/80073886200961652022389/ 一．WITH AS的含义 WITH AS短语，也叫做子查询部分（subquery factoring），可以让你做很多事情，定义一个SQL片断，该SQL 阅读全文
posted @ 2018-04-09 14:20 change_world 阅读(272) 评论(0) 推荐(0)