What Makes a Good Semantic ID for Generative Recommendation? A Reproducibility Study
Content
研究背景
-
(Semantic ID) TIGER 等生成式推荐方法将 item 映射为离散编码序列, 再根据用户历史生成目标 item 的编码. 编码可以来自 RQ-VAE、RQ-Kmeans、OPQ 或层次聚类等方法. 不同工作同时改变 tokenizer、推荐模型和解码过程, 因而单独比较最终指标难以判断 SID 本身的作用.
-
(研究问题) 本文围绕四个方面进行复现与对照实验: 哪种完整方法效果好、码本利用率能否预测推荐效果、扩大模型或延长编码是否有效、SID 保留了哪些局部语义关系.
-
(符号说明)
- $\mathcal{I}$: item 集合; $i \in \mathcal{I}$ 为一个 item.
- $q(i) = (z_{i,1}, \ldots, z_{i,L})$: tokenizer 为 item $i$ 分配的 SID.
- $L$: SID 长度; $\mathcal{C}_{\ell}$: 第 $\ell$ 层码本; $z_{i,\ell} \in \mathcal{C}_{\ell}$ 为该层编码.
- $Z_u$: 用户 $u$ 的历史交互对应的 SID 序列.
- $\theta$: 生成模型参数; $z_{i, < \ell}$: 目标 SID 在第 $\ell$ 层之前的编码前缀.
- $p_{\ell,c}$: 第 $\ell$ 层编码 $c$ 被分配给 item 的频率.
- $K$: 推荐列表或语义近邻列表的长度, 由具体实验区分.
-
(生成目标) 对采用从左到右生成的模型, 目标 SID 的条件概率为:
$$ p_{\theta}(q(i)\mid Z_u) = \prod_{\ell=1}^{L}p_{\theta}(z_{i,\ell}\mid Z_u,z_{i, < \ell}). $$SID 同时决定 item 如何共享编码信息, 以及模型需要预测怎样的离散序列.
核心思想
-
(两层比较) 实验区分完整系统效果与 SID 分配的效果:
比较层次 统一的部分 变化的部分 RQ1: 完整方法比较 数据处理、时间划分、指标计算 各方法原有的 tokenizer、训练及推理设计 RQ2–RQ4: SID 对照分析 TIGER 框架及相应训练、解码和评价流程 SID 设计; 扩展实验另改变 T5 规模或编码长度 因而 RPG 的完整系统结果与 OPQ 编码接入 TIGER 的结果属于不同实验, 不能直接混为同一项 SID 性能.
-
(RQ1: 最优方法依赖数据集) 完整方法比较中, RPG 在 Video Games 上最优, SEATER 在 Microlens-50K 上最优, LETTER-TIGER 在 Yelp 上最优. 下表摘录 NDCG@10:
方法 Video Games Microlens-50K Yelp SASRec 0.0152 0.0156 0.0177 TIGER 0.0272 0.0089 0.0172 RPG 0.0301 0.0173 0.0207 SEATER 0.0184 0.0189 0.0201 LETTER-TIGER 0.0257 0.0121 0.0232 RPG 的跨数据集表现较强, 但没有方法在所有数据集领先. SASRec 在 Microlens 和 Yelp 上超过部分生成式方法. 同属 OPQ 或 RQ-VAE 的方法也可能差异明显, 表明完整系统效果还取决于训练目标与解码设计.
-
(RQ2: 码本均衡程度不能单独预测推荐质量) 对三个数据集比较三层、每层 $256$ 个编码的 TIGER、RQ-Kmeans 和 LETTER 变体. 以第一层归一化熵衡量使用分布的均衡程度:
$$ H_1^{\mathrm{norm}} = -\frac{\sum_{c \in \mathcal{C}_1}p_{1,c}\log p_{1,c}}{\log|\mathcal{C}_1|}. $$值为 $1$ 表示编码使用完全均衡. RQ-Kmeans 的第一层归一化熵接近 $1$, 但推荐指标并非始终最好. LETTER 加入多样性正则后, 第一层归一化熵提高约 $0.11$, NDCG@10 的变化幅度却至多为 $0.002$. 实验中第一层归一化熵与 NDCG@10 的 Pearson 相关系数为 $-0.02$, Spearman 相关系数为 $-0.08$. 码本利用率适合诊断失衡或塌缩, 不能替代下游推荐指标.
-
(RQ3: 模型和编码的扩展均呈非单调变化) 作者比较 T5-small/base/large, 并在 Video Games 上测试 $L \in \{2,3,4,6,8,12,16\}$:
- 扩大模型: 不同 SID 的收益不同. 例如 Video Games 上 RQ-Kmeans 的 NDCG@10 随 small/base/large 从 $0.0276$ 降至 $0.0221$、$0.0166$, TIGER 则为 $0.0272$、$0.0245$、$0.0290$.
- 延长编码: RQ-Kmeans 在 $L=3$ 时最优; OPQ 在 $L=6$ 时最优, NDCG@10 为 $0.0321$, 到 $L=16$ 降至 $0.0226$.
- 指标差异: RQ-VAE 的 Top-5 指标在 $L=3$ 最优, Top-10 指标却在 $L=12$ 最优. 因而不能将 RQ 系列概括为始终偏好最短编码.
编码变长可以细化 item 区分, 同时也延长了自回归预测路径. 实验体现了编码容量、生成难度与数据规模之间的共同影响.
-
(RQ4: 保留邻居集合与保留近邻排序是两种性质) 对每个 item, 分别在参考语义空间和 SID 空间检索 Top-$K$ 近邻. Jaccard@$K$ 衡量两个邻居集合的交并比, RBO@$K$ 则更重视列表靠前位置的一致性. 在 Video Games、Microlens-50K、Microlens-100K 和 Yelp 上:
- OPQ 的 Jaccard@20 均为最高, 数值范围为 $0.1640$–$0.1741$, 表明其恢复的参考邻居集合最多.
- RQ-Kmeans 的 RBO@20 均为最高, 数值范围为 $0.1900$–$0.1974$, 表明其在靠前近邻的一致性方面更强.
- 改变 $K \in \{10,20,50\}$ 后总体趋势稳定. RBO 的例外是 Yelp 的 $K=10$, OPQ 比 RQ-Kmeans 高 $0.0004$.
关键洞察
-
(评价协议) 数据经过 5-core 过滤, 按全局时间以 $70:13:17$ 划分训练、验证和测试集. 每个用户在评价截点预测一次, 将对应评价区间内的后续 warm item 作为多个相关目标, 计算 Recall 和 NDCG. Cold item 从目标中移除, 移除后没有目标的用户不参与评价. 这是全局时间划分下的多目标 warm-only 评价.
-
(解码后处理) SID 对照实验采用 trie 约束前缀解码, 删除用户训练历史中的 item, 候选不足 $K$ 时以训练期热门 item 补齐. 因而最终推荐指标也包含这一统一后处理的效果.
-
(第一层更有区分度) 各方法第二、第三层归一化熵均超过 $0.98$, 较明显的利用率差异集中在第一层. 但第一层更均衡只说明 item 分配更均匀, 并不直接说明分组符合用户偏好或更容易生成.
-
(数据量影响扩展表现) 在更大的 Microlens-100K 上, LETTER 和 RQ-Kmeans 均在 T5-base 获得最高 NDCG@10, 分别为 $0.0191$ 和 $0.0199$; 升到 T5-large 后小幅降至 $0.0186$ 和 $0.0192$. 这一结果与小数据设置中更明显的退化形成对照. 数据不足导致过拟合是作者提出的可能解释, 实验未单独识别其因果作用.
-
(实验覆盖范围) 完整系统比较主要沿用原论文超参数和官方实现; SID 分析以 TIGER 为框架, 模型扩展止于 T5-large. 局部语义指标衡量相对参考语义空间的邻域保留, 与用户行为上的推荐效果构成不同的评价维度.
继往开来
-
SID 质量需要联合评价. 推荐指标检验是否符合用户偏好, 码本统计检验离散空间是否失衡, 邻域指标检验语义结构是否保留, 扩展实验检验编码能否被模型有效学习. 单一指标无法覆盖这些目标.
-
后续研究可将编码结构与生成错误联系起来. 例如分析哪一层前缀更容易预测错误、错误如何影响候选召回, 再研究语义邻域、协同信号和编码均衡性分别起什么作用. 这能进一步解释某种 SID 在具体数据和骨干上有效的原因.