Generative Recommendation
- 生成式推荐 (Generative Recommendation) 因其紧凑的表示空间、良好的冷启动性质以及与 LLM 等现代范式的兼容性, 成为了社区的研究热点.
2026
生成式推荐模型如何引入各种关系, 尤其给出判别式模型 -> 树模型的概率转换公式
将繁重的 Encoder-Decoder 架构缩减: 大 Encoder 将历史概括为少量 concept 向量 & 小 Decoder 负责完整的自回归 SID 搜索
将判别式推荐的商品分数转为共享 SID 边上的协同加分, 在 beam 剪枝前调整生成路径
结合层级加权、置信度门控与属性回归监督, 改善 SID 生成和长尾推荐. 其中的几个验证实验比较有意思.
提出采用 Graph Pooling/Clustering 的方式逐级构建 SID
从推荐效果、码本利用率、扩展行为和局部语义保留评估 Semantic ID
将任务相关属性直接指定为粗(首)层编码, 让残差量化在属性划分后学习细节
更稳定的生成式推荐 Tokenizer: 正交残差分量 & Cosine & 聚类正则
社区演化过程中 Tokenization 的实时适配
从信息论角度剖析 SID 的设计理念: 协同信息 & 层次性
Beam Search 的训推一致约束学习
Tokenizer & Recommender 伪共同训练; Gumbel-Softmax 退火策略
Graph-smoothed semantic embedding & SID、思考向量交替推理
2025
从粗到细的层级化语义 Tokenization
通过 TokenMOE 和 互信息约束 实现一个通用的 Tokenizer
何向南老师团队开源的类 OneRec 架构 (基于 Qwen3)
Tokenizer & Recommender 共同训练 (bi-level optimization)
个性化 semantic IDs
Shoppe 的 retrieval & ranking 混合 (bi-directional) Transformer: 丰富的 Context 以及渐进式的多步推理
快手的端到端生成式检索模型: Progressive Contrastive Learning & SimVQ
快手的生成式检索模型, 在向量量化前引入协同和语义融合
提出 Lazy Decoder 以提高效率 & 用户反馈作为强化学习信号
Progressive Semantic Residual Quantization: 残差与残差补的量化
Tokenizer 中多源信息融合问题
在 SVD 分解张成的子空间中分别进行向量量化
协同对齐 & 量化: One-Stage Contrastive Alignment
双塔模型 & End-to-End joint learning CodeBook
借助 LLM 打标的 Tag 来限制 RQ-VAE 量化过程, 得到解释性更强的 Semantic IDs
Snap 提出的一个生成式推荐的训练框架, 并分析比较了一些常用的 Tricks
UTGRec, 联合学习多模态内容编码与离散化, 通过共享码本迁移生成式推荐
端到端生成式推荐在快手团队的尝试, 主要用于视频流推荐, 特征处理 + 离散编码 + reward
分析了 Cosine 和 Euclidean 距离测度对于向量量化的差异
2024
发现了生成式推荐容易过拟合到见过的 Code 组合, 导致在 Cold-start 商品上表现反而极差
端到端联合训练 Tokenizer & Recommender: 提出 Tokenizer 侧向量表征和 Recommender 侧序列表征的对齐损失
Behavior & Semantic + 分层 K-means 离散编码 + 对比学习
兼顾语义和协同信息的 Tokenizer: 引入协同对齐损失
将 RQ-VAE 中的重构损失替换为 InfoNCE
利用语言模型'精炼'出文本 ID, 用于 Base Recommender 的 Diverse Beam Search 生成