2019年4月25日
spark_to_es
摘要： <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:sc 阅读全文
posted @ 2019-04-25 17:42 问题不大1 阅读(445) 评论(0) 推荐(0) 编辑
格式时间转UTC时间
摘要： public void dateChange() throws ParseException { String str="2010-5-27 12:10:12"; SimpleDateFormat sdf= new SimpleDateFormat("yyyy-MM-dd HH:mm:ss"); Date date =sdf.parse(str);... 阅读全文
posted @ 2019-04-25 17:14 问题不大1 阅读(1624) 评论(0) 推荐(0) 编辑
impala
摘要： impala 1.impala是什么： 2.impala与hive的关系： 3.impala简介 4.impala优劣 优点： 缺点： 5.impala组件 6.impala shell 外部shell 内部shell 7.impala 分区&存储 8.impala sql 9.impala性能优化 阅读全文
posted @ 2019-04-25 14:34 问题不大1 阅读(1892) 评论(0) 推荐(0) 编辑
2019年4月24日
python基础篇_005_迭代器和生成器
摘要： Python迭代器和生成器 1.迭代器 迭代：可以将某个数据集内的数据“一个挨着一个的取出来” 2.可迭代协议 可以被迭代要满足的要求就叫做可迭代协议。内部实现了__iter__方法。 迭代器多了三个方法 自己实现迭代取数： 异常机制处理异常： 3.生成器 实现迭代器功能的东西就是生成器 生成器函数 阅读全文
posted @ 2019-04-24 17:33 问题不大1 阅读(185) 评论(0) 推荐(0) 编辑
python基础篇_004_装饰器函数
摘要： python装饰器函数 1.装饰器函数引导 功能：计算函数执行时长 想要不改变调用方式的前提下完成该功能 直接将赋值操作替换 正常情况： 为防止失效： 2.开放封闭原则 3.装饰器的主要功能和装饰器的固定结构 装饰器的主要功能：在不修改原函数的调用方式的基础上，在函数前后添加功能，实现功能扩展 4. 阅读全文
posted @ 2019-04-24 14:45 问题不大1 阅读(218) 评论(0) 推荐(0) 编辑
python基础篇_003_函数
摘要： python中的函数 1.函数的目的 2.函数的定义与调用 3.函数返回值 序列解压 多个返回值 4.函数的参数 实参与形参 传参 实参角度 1.按照位置传参 2.按照关键字传参 3.位置与关键字混用(位置参数必须在关键字参数的前面) 形参角度 : 位置参数必须传值 默认参数 区别其他语言： 动态参 阅读全文
posted @ 2019-04-24 11:26 问题不大1 阅读(202) 评论(0) 推荐(0) 编辑
2019年4月22日
hive_连续天次计算
摘要： drop table sospdm.tmp_yinfei_yuanzuan_redbag; create table sospdm.tmp_yinfei_yuanzuan_redbag stored as rcfile as select member_no,red_amount,process_t 阅读全文
posted @ 2019-04-22 18:44 问题不大1 阅读(971) 评论(0) 推荐(0) 编辑
hive有关函数
摘要： 1.窗口函数2015年4月份购买过的顾客及总人数 select distinct name,count(1) over() as cnt from test_window_yfwhere substr(orderdate,1,7)='2015-04'; select name,count(1) ov 阅读全文
posted @ 2019-04-22 18:40 问题不大1 阅读(199) 评论(0) 推荐(0) 编辑
hive中的分桶表
摘要： 桶表也是一种用于优化查询而设计的表类型。创建通表时，指定桶的个数、分桶的依据字段，hive就可以自动将数据分桶存储。查询时只需要遍历一个桶里的数据，或者遍历部分桶，这样就提高了查询效率 创建订单表create table user_leads(leads_id string,user_id stri 阅读全文
posted @ 2019-04-22 18:39 问题不大1 阅读(1168) 评论(0) 推荐(0) 编辑
hive提前过滤重要性
摘要： hive提前过滤 阅读全文
posted @ 2019-04-22 17:56 问题不大1 阅读(890) 评论(0) 推荐(0) 编辑