Enhancing ID and Text Fusion via Alternative Training in Session-based Recommendation

Li J., Han H., Chen Z., Shomer H., Jin W., Javari A. and Tang J. Enhancing ID and text fusion via alternative training in session-based recommendation. 2024.

作者“发现”多模态推荐中 ID 和文本模态的结合做的并不好, 于是乎提出了一种交替的训练方式.

Motivation

  • 如上图所示, 现在的将不同模态融合在一起的方式大抵是分别进行编码, 然后进行简单的融合 (平均, 或者拼接), 但是这种方式却不能取得理想的结果.

  • 如上图所示, 在各种模型上, ID-only 的方法就已经能够取得和模态融合几乎一致 (甚至更好) 的效果.

  • 作者进行了一个简单的实验验证, 采取拼接的方法融合, 然后分别探究 ID 和 Text 两部分对于推荐性能和损失的共享, 可以发现, 随着训练的迭代, ID 在逐渐学的更好, 而 Text 部分甚至是越来越差.

AlterRec

  • 所以, 本文的思路是两者进行一个交替的训练:

  • 特别的, ID 部分有 ID embedding table 可以训练, Text 部分有一个 MLP projector 可以训练.

  • 然后 scoring 部分, 作者采用 Mean Function 或者 Transformer.

代码

[official]

posted @ 2024-04-25 13:45  馒头and花卷  阅读(16)  评论(0编辑  收藏  举报