07 2022 档案

HIVE SQL COUNT(DISTINCT * 按条件去重

摘要：COUNT(DISTINCT CASE WHEN ******* THEN cid END), COUNT(DISTINCT CASE WHEN ******* THEN cid END), 参考：统计符合条件的去重过的数量 - - count distinct if case - 伸展代码舒适阅读全文

posted @ 2022-07-29 18:34 cup_leo 阅读(522) 评论(0) 推荐(0) 编辑

SEnet 网络在推荐系统

摘要：参考文献： 1、SENet双塔模型在推荐领域召回粗排的应用及其它 (qq.com) SEnet 在推荐上，主要两个工作：（1）特征emb编码压缩，对每个emb编码取平均值，得到一个数值z，所有特征的z组成向量Z （2）对Z作用两个MLP神经网络，主要意义在特征交叉，得到每个特征emb编码的权重值a 阅读全文

posted @ 2022-07-29 14:12 cup_leo 阅读(577) 评论(0) 推荐(0) 编辑

pip 不能直接安装的包使用whl文件尝试一下

摘要：文件地址： Archived: Python Extension Packages for Windows - Christoph Gohlke (uci.edu) 阅读全文

posted @ 2022-07-25 17:57 cup_leo 阅读(30) 评论(0) 推荐(0) 编辑

Python遗传算法工具箱Geatpy的使用

摘要：参考学习资料： Python遗传算法工具箱Geatpy的使用（一）求解带约束的单目标优化 - 知乎 (zhihu.com) (24条消息) sklearn svm 调参_python运筹优化（七）：利用遗传算法为机器学习模型调参_三十六陂的博客-CSDN博客 (24条消息) 【机器学习项目实战】Py 阅读全文

posted @ 2022-07-14 10:39 cup_leo 阅读(371) 评论(0) 推荐(0) 编辑

《一文解决样本不均衡（全）》

摘要：https://mp.weixin.qq.com/s?__biz=MzI4MDE1NjExMQ==&mid=2247487430&idx=1&sn=abb25dfb333c53634f435c101e1fb8dd&scene=21#wechat_redirect 阅读全文

posted @ 2022-07-13 16:13 cup_leo 阅读(6) 评论(0) 推荐(0) 编辑

树模型比较 xgboost lightGBM catboost

摘要：1、(24条消息) LightGBM详解_zhong_ddbb的博客-CSDN博客_lightgbm 阅读全文

posted @ 2022-07-13 10:27 cup_leo 阅读(45) 评论(0) 推荐(0) 编辑

大数据数仓数据分层名次介绍

摘要：数据源层: ODS(Operational Data Store） ODS 层, 是最接近数据源中数据的一层, 为了考虑后续可能需要追溯数据问题，ODS层原封不动地接入原始数据。比如从监听数据库变更的Canal读取数据后放入kafka 数据明细层: DWD(Data Warehouse Detail 阅读全文

posted @ 2022-07-07 16:29 cup_leo 阅读(629) 评论(0) 推荐(0) 编辑

spark-shell 常用命令

摘要：#!/bin/bash yesterday=$1 if [ ! $yesterday ] then yesterday=`date -d "-1 day" +%F` cur_date=`date +%F` fi echo yesterday=$yesterday #!/bin/bash start= 阅读全文

posted @ 2022-07-07 09:53 cup_leo 阅读(597) 评论(0) 推荐(0) 编辑

Spark 任务提交流程

摘要：1、spark-shell提交任务，向RM申请资源2、RM分配container，在对应NodeMANAGER启动AM，然后AM启动driver3、Driver 向 ResourceManager 申请资源 Executor。4、RM返回 container 给driver5、driver在相应No 阅读全文

posted @ 2022-07-05 11:17 cup_leo 阅读(1084) 评论(0) 推荐(0) 编辑