Addressing Representation Collapse in Vector Quantized Models with One Linear Layer
SimVQ, 坐标变换替代可学习 Codebook
Blogs
Restructuring Vector Quantization with The Rotation Trick
一种利用 Rotation Trick 来替代 STE 的方案
Is Every Item Worth An Embedding?
是否每个 Item 都值得一个可学习的 Embedding 呢
Let’s Verify Step by Step
来自 OpenAI 的 process supervision
Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations
来自 DeepSeek 的 process supervision
Simba: 符号梯度的可行性
在 Lion 优化器之上的一些探索
Universal Prompt Tuning for Graph Neural Networks
图上特征 prompt 等价各异 graph prompt
All in One: Multi-Task Prompting for Graph Neural Networks
统一 graph/edge/node-level 的 graph prompt
Laplace Transform
Laplace 变换的基本概念
Base of RoPE Bounds Context Length
讨论 RoPE base 对于相似 Tokens 感知能力的影响