All Of My Life.
  文章分类
感悟 1 收录集 2 学习 8 随笔 5 Unity 4 活动记录 4 绘画 1
【学习】Patch-level Routing in MOE：针对局部图像区域分配专家，提高样本效率 【学习】Patch-level Routing in MOE：针对局部图像区域分配专家，提高样本效率
论文提出了一种基于图像局部区域（patch）的专家分配策略，而不是对整个图像进行分配；这种方法利用CNNs的结构特点，将输入图像分割成若干个patch，每个patch独立地分配给不同的专家，从而提高效率。
2024-05-28 学习
学习笔记
【学习】LoftQ：大语言模型的LoRA微调感知量化 【学习】LoftQ：大语言模型的LoRA微调感知量化
在量化预训练模型的同时，为LoRA微调找到恰当的低秩初始化，同时在量化的过程里引入微调。
2024-05-21 学习
学习笔记
【学习】MOELoRA：基于MOE应用LoRA微调 【学习】MOELoRA：基于MOE应用LoRA微调
将稀疏的LoRA专家换到MOE层里，将不同的医疗领域任务类型作为分类依据，实现不同模型对应解决不同任务，同时采用LoRA加快微调效率。
2024-05-18 学习
学习笔记
【学习】MOE混合专家模型 【学习】MOE混合专家模型
学习了MOE混合专家模型的工作原理，对门控单元有了更深入的理解。
2024-05-08 学习
学习笔记
【学习】LoRA微调原理 【学习】LoRA微调原理
学习了LoRA微调大模型的算法原理，阅读原论文并整理学习知识
2024-05-07 学习
学习笔记
【学习】NovelAI进行绘画创作 【学习】NovelAI进行绘画创作
借助NovelAI试了一下AI绘画创作，分享一下经验~⁽(◍˃̵͈̑ᴗ˂̵͈̑)⁽
2024-04-14 学习
经验分享
【学习】Linux服务器上升级Python版本 【学习】Linux服务器上升级Python版本
今天更新了一下Linux服务器的Python版本，分享一下经验~⁽(◍˃̵͈̑ᴗ˂̵͈̑)⁽
2024-03-11 学习
经验分享
【学习】LaTeX 入门笔记 【学习】LaTeX 入门笔记
学习了一下Latex语法。后续可能会经常用到，提前接触一下，以后多练练，用起来就会顺手啦
2024-03-11 学习
知识整理 学习笔记