TinyLoRA

一种极低维参数高效微调方法，将可训练参数压缩到个位数或几十个，证明LLM微调所需参数可以极少，但本质上仍沿用梯度下降的局部搜索方法。