08 2024 档案

大模型相关问题
摘要：大模型问题汇总 llama 2注意力机制，手写分组注意力机制 GQA分组注意力机制(为了加速模型训练和推理，MHA每个head都需要一个QKV矩阵，于是有了将K,V矩阵分组，几个head共用一个KV矩阵，Q矩阵不变) MQA 则是所有的head共用KV矩阵 langchain介绍，主要组件 lang 阅读全文
posted @ 2024-08-17 16:46 adam86546853 阅读(24) 评论(0) 推荐(0) 编辑
多场景多目标总结
摘要：多场景存在问题 场景特征差异，训练样本以及训练梯度不一致 场景之间相互影响，有增益部分，也有互斥部分 如何解决上面这些问题： 公域特征抽象出来(用户画像，物品特征、全场景行为序列)，私域特征(场景特征行为特征，场景位置，版面等) 公域特征网络 + 每个私域场景一个特征网络(concatenate) 阅读全文
posted @ 2024-08-08 22:03 adam86546853 阅读(23) 评论(0) 推荐(0) 编辑
多模态融入推荐
摘要：多模态特征如何融入到推荐 最近刚好读了2篇文章，对于多模态特征处理的核心问题： 多模态表征和推荐ID类特征的表征不在一个向量空间，如何有效融合； 其次多模态特征预训练的，如何有效评估以及融入推荐系统之后如何进行更新的问题 一、先解决怎么融合的问题： 将多模态表征聚类，使用聚类的id进行输入，模态特征 阅读全文
posted @ 2024-08-06 11:05 adam86546853 阅读(39) 评论(0) 推荐(0) 编辑

点击右上角即可分享
微信分享提示