Tokenization is the Language of AI

Mixture-of-Tinkers: 在 Graph Quantized Tokenizer 基础上添加了 Codebook 的对比 Alignment 和 Load-balancing 约束

符号序列的自动切分, 实现自适应的子词划分

Graph Quantized Tokenizer: 多任务监督下的图节点向量量化

Survey, 向量量化在图上的研究

Softmax 版 Vector Quantization, 沿用 TiTok 的框架, 主要追求更高的压缩比

兼顾 Low-level 的 Pixel 信息和 High-level 的 Semantic 信息

坐标变换替代可学习 Codebook, 避免 Collapse

提出 Rotation Trick 替代 VQ-VAE 中的 STE

Transformer-based 1-Dimensional Tokenizer, 追求更高的压缩比

在 MegaByte 的基础上引入 Spacelike Bytes 以更合理地划分 patch

自回归图像生成: Multi-scale Quantization & Next-scale Prediction

采用传统 Element-wise Rounding 的方式实现向量量化, Codebook 为超矩体的顶点

多尺度 Transformer, 去 Subword Tokenizer 的开创性工作

残差向量量化

向量量化 + 自回归式图片生成

谷歌开源的子词工具包

采样而非确定性的编码方式

向量量化的开山之作

经典的 BPE tokenization