Generative Recommendation
- 生成式推荐 (Generative Recommendation) 因其紧凑的表示空间、良好的冷启动性质以及与 LLM 等现代范式的兼容性, 成为了社区的研究热点.
2026
2025
从粗到细的层级化语义 Tokenization
通过 TokenMOE 和 互信息约束 实现一个 multi-domain 的 Tokenizer
何向南老师团队开源的类 OneRec 架构 (基于 Qwen3)
Tokenizer & Recommender 共同训练 (bi-level optimization)
个性化 semantic IDs
Shoppe 的 retrieval & ranking 混合 (bi-directional) Transformer: 丰富的 Context 以及渐进式的多步推理
快手的端到端生成式检索模型: Progressive Contrastive Learning & SimVQ
快手的生成式检索模型, 在向量量化前引入协同和语义融合
提出 Lazy Decoder 以提高效率 & 用户反馈作为强化学习信号
Progressive Semantic Residual Quantization: 残差与残差补的量化
Tokenizer 中多源信息融合问题
在 SVD 分解张成的子空间中分别进行向量量化
协同对齐 & 量化: One-Stage Contrastive Alignment
双塔模型 & End-to-End joint learning CodeBook
借助 LLM 打标的 Tag 来限制 RQ-VAE 量化过程, 得到解释性更强的 Semantic IDs
Snap 提出的一个生成式推荐的训练框架, 并分析比较了一些常用的 Tricks
端到端生成式推荐在快手团队的尝试, 主要用于视频流推荐, 特征处理 + 离散编码 + reward
分析了 Cosine 和 Euclidean 距离测度对于向量量化的差异
2024
发现了生成式推荐容易过拟合到见过的 Code 组合, 导致在 Cold-start 商品上表现反而极差
端到端联合训练 Tokenizer & Recommender: 提出 Tokenizer 侧向量表征和 Recommender 侧序列表征的对齐损失
Behavior & Semantic + 分层 K-means 离散编码 + 对比学习
兼顾语义和协同信息的 Tokenizer: 引入协同对齐损失
将 RQ-VAE 中的重构损失替换为 InfoNCE
利用语言模型'精炼'出文本 ID, 用于 Base Recommender 的 Diverse Beam Search 生成