摘要：
hive 查询语法 准备数据： 1.order by col_list: 排序 全局排序 默认为升序asc ,因此只有一个reducer,只有一个reduce task的结果，比如文件名是000000_0,会导致当输入规模较大时，需要较长的计算时间。 如果指定了hive.mapred.mode=st 阅读全文
摘要：
单利与复利都是计算利息的一种方式 单利：是指在计算利息时，每一次都是按照原先融资双方确认的本金计算利息，每次计算的利息并不转入下一次本金中。单利的计算公式：利息（I）=本金（P）×利率（i）×计息期数（n） 比如：张三借给李四1000元，双方商定年利率为5%，3年归还，按单利归还，则张三3年后应收的 阅读全文
摘要：
查看函数的详细使用方法 desc function extended 函数名 例如： 1）.desc function extended locate locate(substr, str[, pos]) - Returns the position of the first occurance o 阅读全文
摘要：
一.什么是hive Hive最初是应Facebook每天产生的海量新兴社会网络数据进行管理和机器学习的需求而产生和发展的。 那么到底什么是hive呢？首先我们看看hive官网的wiki上是如何介绍hive的 wiki地址：（https://cwiki.apache.org/confluence/di 阅读全文
摘要：
迁移脚本初始化时需要将以前的历史数据分区也迁移过来，就可以用到动态分区了 set hive.exec.dynamic.partition.mode=nonstrict; set hive.exec.dynamic.partition=true; set hive.exec.max.dynamic.p 阅读全文
摘要：
想要将hive分区表中的某个分区复制到新的分区中，使用如下sql语句 报错了，原因是多出了etl_tx_dt这一列 那么如何查出除了etl_tx_dt这一列剩余的所有列呢 如果想要查要除个别字段外的剩余所有字段： 阅读全文
摘要：
新集群sda的数据比老集群的数据多2条，怎样在1千多万条数据中找到这两条不一致的数据 分段对比条数（10000为步长，步长自己来定） 在新集群上运行： select floor(id/10000) id, count(*),max(id),min(id) FROM xxx.table group b 阅读全文
摘要：
将鼠标移动到requests处，出现如下提示 按住alt+enter键，点击install package requests即可安装requests包 安装成功后 阅读全文
摘要：
在大多数的sql中获取当前时间都是用now()函数即可，hive获取当前时间的函数与sql 不一样 在impala中执行now()函数时是可以通过的 然而在hive中执行now()函数却报错： hive有一个获得当前时区的UNIX时间戳：unix_timestamp 语法: unix_timesta 阅读全文
摘要：
匿名函数(lambda) 当我们在传入函数时,有些时候不需要显式的定义函数,使用匿名函数更为方便 在Python中对匿名函数提供了有限的支持 关键字lambda表示匿名函数,冒号前面的x表示函数参数 匿名函数有一个限制,就是只能有一个表达式,不用写return,返回值就是该表达式的结果 用匿名函数有 阅读全文