摘要: 想完成类似这样一个需求:insert overwrite table ... partiton(dt=date_sub('2019-03-13',2)) 当然这样子是行不通的,partition后面那个括号里是不能用函数的,怎么办呢? 网上一顿狂搜,找到了一个解决办法!动态分区 上两个链接就懂啦: 阅读全文
posted @ 2019-05-28 11:32 语遥 阅读(1758) 评论(0) 推荐(0) 编辑
摘要: 今天学到一个新技巧,求累加和:sum over (partition order by) 一直没想清楚和group by 的区别,灵光闪现找到了本质区别: partition by 不改变数据行数,原来多少行还是多少行,group by 改变行数,只保留了group by 之后的结果。 下面这个例子 阅读全文
posted @ 2019-05-21 13:48 语遥 阅读(2585) 评论(0) 推荐(0) 编辑
摘要: 基于样例的迁移学习:密度比估计的不可或缺性 工作中遇到需要用迁移学习解决的风控问题:贷中模型,一个新的项目,如何冷启动。 1)目标域没有标签,即不知道未来是否逾期。2)没有足够的训练数据。 新项目的数据分布和旧项目不同,P(y|x) 假设相同, 但P(x)必定不同,此时需要用到密度比估计。估计出密度 阅读全文
posted @ 2019-03-14 14:26 语遥 阅读(199) 评论(0) 推荐(0) 编辑
摘要: 看吴恩达老师的视频觉得有些地方没有点透。知乎这篇文章不错。 详解深度学习中的梯度消失、爆炸原因及其解决方法 阅读全文
posted @ 2019-03-13 10:29 语遥 阅读(513) 评论(0) 推荐(0) 编辑