Lightweight Optimizers

• Lightweight optimiers 的主要出发点是 Adam(W) 需要 2x model size 的状态存储, 实际使用时实际上会消耗相当多的显存.