摘要:
可能的负例选择方法 为了解决“Sample Selection Bias”问题,我们在召回或者粗排模型训练的时候,应该调整下负例的选择策略,使得它尽量能够和模型输入的数据分布保持一致。这里我简单归纳下可能的做法。 选择1:曝光未点击数据 这就是上面说的导致Sample Selection Bias问 阅读全文
摘要:
COUNT(DISTINCT CASE WHEN ******* THEN cid END), COUNT(DISTINCT CASE WHEN ******* THEN cid END), 参考 : 统计符合条件的去重过的数量 - - count distinct if case - 伸展代码舒适 阅读全文
摘要:
参考文献: 1、SENet双塔模型在推荐领域召回粗排的应用及其它 (qq.com) SEnet 在推荐上,主要两个工作: (1)特征emb编码压缩,对每个emb编码取平均值,得到一个数值z,所有特征的z组成向量Z (2)对Z作用两个MLP神经网络,主要意义在特征交叉,得到每个特征emb编码的权重值a 阅读全文
摘要:
文件地址: Archived: Python Extension Packages for Windows - Christoph Gohlke (uci.edu) 阅读全文
摘要:
参考学习资料: Python遗传算法工具箱Geatpy的使用(一)求解带约束的单目标优化 - 知乎 (zhihu.com) (24条消息) sklearn svm 调参_python运筹优化(七):利用遗传算法为机器学习模型调参_三十六陂的博客-CSDN博客 (24条消息) 【机器学习项目实战】Py 阅读全文
摘要:
https://mp.weixin.qq.com/s?__biz=MzI4MDE1NjExMQ==&mid=2247487430&idx=1&sn=abb25dfb333c53634f435c101e1fb8dd&scene=21#wechat_redirect 阅读全文
摘要:
1、(24条消息) LightGBM详解_zhong_ddbb的博客-CSDN博客_lightgbm 阅读全文
摘要:
数据源层: ODS(Operational Data Store) ODS 层, 是最接近数据源中数据的一层, 为了考虑后续可能需要追溯数据问题,ODS层原封不动地接入原始数据。比如从监听数据库变更的Canal读取数据后放入kafka 数据明细层: DWD(Data Warehouse Detail 阅读全文
摘要:
#!/bin/bash yesterday=$1 if [ ! $yesterday ] then yesterday=`date -d "-1 day" +%F` cur_date=`date +%F` fi echo yesterday=$yesterday #!/bin/bash start= 阅读全文
摘要:
1、spark-shell提交任务,向RM申请资源2、RM分配container,在对应NodeMANAGER启动AM,然后AM启动driver3、Driver 向 ResourceManager 申请资源 Executor。4、RM返回 container 给driver5、driver在相应No 阅读全文