Zeroth-order Optimization

零阶优化进通过前向传播估计有效的更新方向, 极大避免了梯度下降所导致的巨大显存和计算开销. 当然, 如何保证可靠的收敛性依然是棘手的问题.

2023

微调阶段的零阶优化以及低秩收敛理论