冷启动内容

冷启动分成用户冷起、物品冷起、系统冷启动;用户冷启目的是提升用户留存以及活跃度等指标,帮助用户增长;物品冷启动主要是提升品类多样性以及丰富度,促进内容生态。生态健康才能保持长久广告收益以及成交额。

用户冷启的核心在于数据稀疏,新用户不了解,如何获取更多数据或者更好的刻画用户,譬如使用其他场景的数据,设计标签选项收集用户兴趣等;物品冷启需要寻找种子用户,更好的流量扶持。

冷启常见的问题

  • 冷启用户的识别(活跃天数,登录天数等)
  • 当前的状态(即时兴趣还是长期稳定兴趣),留存客户
  • 物品潜力预估
  • 用户冷启,产品和运营发力点,算法如何配合

用户冷启通用做法:

  • 规则阶段+简单模型

    • 前期通过标签圈选(类目,热点,地域,精品等)
    • 简单模型(性别、年龄、交互item个数,登录次数,是否新用户,安装APP列表),筛选新用户友好特征
    • E&E模型探索,对用户进行探索
  • 模型阶段

    • 尽量使用多域的用户数据建模,新老数据一起建模
    • 多设计一些对新用户友好特征(bias),bias特征加到浅层网络
    • bias特征经过LHUC模块,筛选embedding;新用户样本经过模型时,能够筛选
    • 预训练泛化user group emb(先对用户分群)
      • 使用新用户的样本w2v,正例:新用户交互过的item,负例:随机筛几个
      • 老用户交互item非常多,用户兴趣明显,和新用户当前状态有差异,可能会引入噪声
    • 多域模型,模型实时反馈
    • MAML(元学习),构造比较合适的emb(个人感觉不靠谱,需要每个用户设计一套梯度下降参数)
    • 新老用户分层处理POSO、PPNET等这类对用户attention类的网络结构
  • 运营产品层面,多设计一些激励措施,延长用户留存

内容冷启

  • 新内容需要单独做一路进行扶持,boosting

  • i2i,u2i等

  • emb初始化(同类的相似的topk的emb平均)

  • 冷启资源和热门资源使用不同的塔(双塔学习)

  • 内容扶持:

    • 通过强插,调权;给定时间,给定分发量
    • 作者设置冷启动额度,优质作者助推
  • 多分发给老用户(容忍度高)、uplift识别冷启内容不反感的用户;分发给意见领袖,提升成功率

  • 优质资源的预估:

    • 判别是否领域新热,产品话题讨论和关注度、产品热榜;

    • 资源价值评估: 作者的优质、初期表现数据

    • 内容本身进行预估(pairwise对进行预估);筛选一些物品侧特征建模(物品的基础属性,物品的初期表现数据【最好是类别、系列、价格、周期等,防止新品特征为空】)

    • 样本的选取,按照天级别选取物品,根据预估目标(ctr,cvr,ecpm,活跃、留存、点赞、互动等),根据后验表现排序,取得物品的排序组合对(xi,xj),pairwise模型进行拟合

    • loss使用指数损失函数(PairWise Logistic Loss)
      Llogstic=log(1+e(xixj))

    • 网络可以使用ranknet网络,损失函数就是指数损失函数

  • 冷启资源曝光尽量和实际曝光曲线接近

    • 一种简单的方式,按照24h来小时按照比例来投,确保曝光量

参考:

https://zhuanlan.zhihu.com/p/474204922
https://zhuanlan.zhihu.com/p/631575097

posted @ 2024-05-15 08:53 adam86546853 阅读(74) 评论(0) 推荐(0) 编辑
摘要: 大模型问题汇总 llama 2注意力机制,手写分组注意力机制 GQA分组注意力机制(为了加速模型训练和推理,MHA每个head都需要一个QKV矩阵,于是有了将K,V矩阵分组,几个head共用一个KV矩阵,Q矩阵不变) MQA 则是所有的head共用KV矩阵 langchain介绍,主要组件 lang 阅读全文
posted @ 2024-08-17 16:46 adam86546853 阅读(24) 评论(0) 推荐(0) 编辑
摘要: 多场景存在问题 场景特征差异,训练样本以及训练梯度不一致 场景之间相互影响,有增益部分,也有互斥部分 如何解决上面这些问题: 公域特征抽象出来(用户画像,物品特征、全场景行为序列),私域特征(场景特征行为特征,场景位置,版面等) 公域特征网络 + 每个私域场景一个特征网络(concatenate) 阅读全文
posted @ 2024-08-08 22:03 adam86546853 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 多模态特征如何融入到推荐 最近刚好读了2篇文章,对于多模态特征处理的核心问题: 多模态表征和推荐ID类特征的表征不在一个向量空间,如何有效融合; 其次多模态特征预训练的,如何有效评估以及融入推荐系统之后如何进行更新的问题 一、先解决怎么融合的问题: 将多模态表征聚类,使用聚类的id进行输入,模态特征 阅读全文
posted @ 2024-08-06 11:05 adam86546853 阅读(39) 评论(0) 推荐(0) 编辑
摘要: 转化延迟 这块研究比较多,但目前还未有比较好的解法,列举一下工业界场景解法以及如何操作实时。见过很多讲理论的,实操好像还没啥人讲。 DFM(转化延迟建模) 将带有延迟的转化分布分解成转化时间和转化率的分布,一个模型拟合延迟时间间隔,一个拟合是否最终转化(a. 观测为负样本的概率 b. 转化延迟di, 阅读全文
posted @ 2024-05-24 14:58 adam86546853 阅读(105) 评论(0) 推荐(0) 编辑
摘要: 对比学习研究方向: Data Argument 提升原始样本和增强样本一致性,加大原始样本和其他样本的差异 容易拉大同类样本的特征差异 Sampling Strategy 类似FB提出的hard negative样本 Loss Function 研究较多,NCE、infoNCE、SupConLoss 阅读全文
posted @ 2024-05-24 11:29 adam86546853 阅读(55) 评论(0) 推荐(0) 编辑
摘要: 核心问题点 60%内存存放参数,30%存放缓存的key,value向量,10%存放其他参数。 LLM相对传统深度学习,对cache的管理较差。 深度学习要求tensor内存连续,一般深度学习内存参数几乎不动,但LLM参数长度动态变化且周期无法预知导致cache内存碎片化 共享内存做的比较差。LLM 阅读全文
posted @ 2024-05-13 13:53 adam86546853 阅读(354) 评论(0) 推荐(0) 编辑
点击右上角即可分享
微信分享提示