Pre-training and Fine-tuning for Recommendation

  • Pre-training and Fine-tuning 是在总多领域中屡试不爽的成功范式, 然而推荐系统中确缺乏这类成功的案例.

2025

通过 ID Matcher 实现 Zero-Shot 的跨域推荐
发现生成式预训练能够有效防止判别式模型的过拟合问题

2023

利用 MLM 和 Item 对比损失训练了一个 Encoder (user text sequence/item text -> hidden representation)
实验详细探讨了 ID- vs. Modality-based 的现阶段差距

2022

仅基于文本实现的多场景可迁移序列推荐模型, 引入了 MoE-enhanced Adaptor 以及相应的 Parameter-Efficient Fine-tuning

2021

Zero-Shot 预训练推荐模型
一个介绍推荐系统 pre-training 的综述, 受时间的局限性, 所谓的 pre-training 并不严谨

2020

自回归预训练 & 模型嫁接迁移 (为了降低微调参数量, 有点 LoRA 的味道)