09 2021 档案
摘要：https://zhuanlan.zhihu.com/p/92293407 待整理
阅读全文
摘要：1. 避免创建重复的RDD 2. 尽可能复用同一个RDD 3. 对多次使用的RDD进行持久化 // 如果要对一个RDD进行持久化，只要对这个RDD调用cache()和persist()即可。 // 正确的做法。 // cache()方法表示：使用非序列化的方式将RDD中的数据全部尝试持久化到内存中。
阅读全文
摘要：Executor配置 conf={ "spark.executor.memory": "4g", "spark.executor.cores":"4", "spark.executor.instances": "150", "spark.yarn.executor.memoryOverhead":
阅读全文
摘要：Application application（应用）其实就是spark-submit提交的spark应用程序。一个完整的Spark应用程序包含如下几个基本步骤： 获取输入数据（通过序列获取，读取HDFS，读取数据库，读去S3等！） 处理数据（具体的代码逻辑） 输出结果（导入到HDFS，Hbase，
阅读全文
摘要：推荐系统中的召回和排序 在推荐系统中一般会分为召回和排序两个阶段： 召回 召回的目标是从千万级甚至亿级的候选中召回几千个item，召回一般由多路组成，每一路会有不同的侧重点（优化目标），如在广告中成熟期广告和冷启动广告分为两路召回（如果广告比较多，还可能分冷热广告分别召回）。在推荐系统，不同路可能代
阅读全文
摘要：deepwalk 的主要思想就是： 先在图中随机采样一批节点 然后一这批节点为起点，按边权重随机选一个邻点，重复该步骤，得到节点序列 把这些节点序列看成一个个句子，可以用word2vec的方法来把这些节点表示为向量 具体的细节待整理
阅读全文
摘要：背景 FM 模型引入了二阶特征的交叉方法，但是在 FM 中，所有二阶特征的权重是一样的，在实际中，应该给重要的交叉特征更大的权重，对一些可能引入噪音的特征给一个非常小的权重或0 AFM 通用引入一个 attention 结构，让模型自己调节二阶特征的权重 模型结构 AFM 模型的结构如上图所示（省略
阅读全文
摘要：背景 google 在这篇论文中介绍了在 YouTube 中使用两阶段推荐系统（召回和排序） 召回：和协同过滤原理相似，根据不同用户的历史行为召回用户可能感兴趣的视频 排序：根据用户对视频可能的观看时间对候选视频进行排序，最大化YouTube的商业化价值 和其它论文不同，这篇论文不是在介绍某个技术点
阅读全文
摘要：MAP(Mean Average Precision)，平均正确率均值 参考资料 https://www.cnblogs.com/genyuan/p/9788294.html
阅读全文
摘要：MRR(Mean Reciprocal Rank)，平均倒数排名 MRR 要求检索结果只有一个相关，其它都是不相关 参考资料 https://www.cnblogs.com/genyuan/p/9788294.html
阅读全文
摘要：https://zhuanlan.zhihu.com/p/80261581 待整理
阅读全文
摘要：ERR(Expected Reciprocal Rank)，预期倒数排名 参考资料 https://www.cnblogs.com/genyuan/p/9788294.html https://www.cnblogs.com/memento/p/8673309.html
阅读全文
摘要：https://zhuanlan.zhihu.com/p/83571732 《PAL: A Position-bias Aware Learning Framework for CTR Prediction in Live Recommender Systems》 待整理
阅读全文
摘要：https://www.cnblogs.com/by-dream/p/9403984.html https://zhuanlan.zhihu.com/p/84206752 待整理
阅读全文
