【学习】LoftQ：大语言模型的LoRA微调感知量化

学习笔记
学习
发布日期:   2024-05-21
文章字数:   206

【笔记】LoftQ：大语言模型的LoRA微调感知量化

  • 模型量化：量化会带来精度损失，使量化模型与全精度模型效果间产生差异
  • 传统方法：以往的做法是对预训练模型量化后引入微调，适应下游任务
  • 突出问题：以往做法过多地关注量化本身，往往忽略了微调部分；事实上，量化引入的偏差也会影响微调性能；QLoRA方法将零初始化的低秩Adapters连到量化模型后适配下游任务，但在3位以下的量化水平，性能损失严重

image-20240522160042495

论文提出一种新的量化框架算法：LoftQ——低秩近似与量化协同工作，共同逼近原始的高精度预训练权值

算法实现：

文章作者: Cyan.
文章链接: https://yukiiceeee.github.io/2024/05/21/xue-xi-loftq/
版权声明: 本博客所有文章除特別声明外，均采用 CC BY 4.0 许可协议。转载请注明来源 Cyan. !
学习笔记
赏
 上一篇
【学习】Patch-level Routing in MOE：针对局部图像区域分配专家，提高样本效率 【学习】Patch-level Routing in MOE：针对局部图像区域分配专家，提高样本效率
论文提出了一种基于图像局部区域（patch）的专家分配策略，而不是对整个图像进行分配；这种方法利用CNNs的结构特点，将输入图像分割成若干个patch，每个patch独立地分配给不同的专家，从而提高效率。
2024-05-28 学习
学习笔记
下一篇 
【学习】MOELoRA：基于MOE应用LoRA微调 【学习】MOELoRA：基于MOE应用LoRA微调
将稀疏的LoRA专家换到MOE层里，将不同的医疗领域任务类型作为分类依据，实现不同模型对应解决不同任务，同时采用LoRA加快微调效率。
2024-05-18 学习
学习笔记
  目录