05 2024 档案
摘要:转化延迟 这块研究比较多,但目前还未有比较好的解法,列举一下工业界场景解法以及如何操作实时。见过很多讲理论的,实操好像还没啥人讲。 DFM(转化延迟建模) 将带有延迟的转化分布分解成转化时间和转化率的分布,一个模型拟合延迟时间间隔,一个拟合是否最终转化(a. 观测为负样本的概率 b. 转化延迟di,
阅读全文
摘要:对比学习研究方向: Data Argument 提升原始样本和增强样本一致性,加大原始样本和其他样本的差异 容易拉大同类样本的特征差异 Sampling Strategy 类似FB提出的hard negative样本 Loss Function 研究较多,NCE、infoNCE、SupConLoss
阅读全文
摘要:冷启动内容 冷启动分成用户冷起、物品冷起、系统冷启动;用户冷启目的是提升用户留存以及活跃度等指标,帮助用户增长;物品冷启动主要是提升品类多样性以及丰富度,促进内容生态。生态健康才能保持长久广告收益以及成交额。 用户冷启的核心在于数据稀疏,新用户不了解,如何获取更多数据或者更好的刻画用户,譬如使用其他
阅读全文
摘要:核心问题点 60%内存存放参数,30%存放缓存的key,value向量,10%存放其他参数。 LLM相对传统深度学习,对cache的管理较差。 深度学习要求tensor内存连续,一般深度学习内存参数几乎不动,但LLM参数长度动态变化且周期无法预知导致cache内存碎片化 共享内存做的比较差。LLM
阅读全文