Recommendation Foundation Model
- 通用推荐模型的前景似乎变得开阔了, Item 可以用多模态特征抽象, User 则天然可以用序列和某些静态特征表示, 由此或许真的可能通向推荐自己的基座模型.
2025
LLM 推荐中合成 (diverse) 数据对于 Scale 的重要性
通过 TokenMOE 和 互信息约束 实现一个 multi-domain 的 Tokenizer
一个 CTR 领域更加高效 Scaling 的推荐架构
何向南老师团队开源的类 OneRec 架构 (基于 Qwen3)
快手的端到端生成式检索模型: Progressive Contrastive Learning & SimVQ
快手的生成式检索模型, 在向量量化前引入协同和语义融合
华为在多个开源数据集上训练的生成式推荐模型, 利用课程学习训练 Tokenizer
基座模型通用推荐能力 Benchmark: 19 基座模型 & 10 场景 & 15 数据集
抖音在 (非生成式) 大模型推荐上的探索: TokenMixing & Per-token FFN
华为提出的 Recommendation Foundation Model 的设想: 通过多样的 Embedding/Generative + Task-specific MoE + Adaptive Sampling 来增强 LLM
美团将 HSTU 应用到 ranking 阶段的尝试: Group Normalization 对齐不同语义空间的操作有点意思
利用 Image/Text 重构任务来训练统一的推荐 Tokenizer
通过 Q-Former 将 semantic IDs 转换为 textual IDs, 旨在实现协同/文本特征的高效融合
百度提出了一种通过离散编码衍生到稠密表示的框架, 二者结合可以获得更好的效果
端到端生成式推荐在快手团队的尝试, 主要用于视频流推荐, 特征处理 + 离散编码 + reward
一个衡量 LLM 是否具备 Preference Following 的 Benchmark
LLM-based, Domain-general + Domain-specific LoRAs
2024
2023
实验详细探讨了 ID- vs. Modality-based 的现阶段差距
2022
仅基于文本实现的多场景可迁移序列推荐模型, 引入了 MoE-enhanced Adaptor 以及相应的 Parameter-Efficient Fine-tuning