【手记】小径
トレイル（小径）——cover.mamenoi
阅读更多
【学习】Patch-level Routing in MOE：针对局部图像区域分配专家，提高样本效率
论文提出了一种基于图像局部区域（patch）的专家分配策略，而不是对整个图像进行分配；这种方法利用CNNs的结构特点，将输入图像分割成若干个patch，每个patch独立地分配给不同的专家，从而提高效率。
2024-05-28
【学习】LoftQ：大语言模型的LoRA微调感知量化
在量化预训练模型的同时，为LoRA微调找到恰当的低秩初始化，同时在量化的过程里引入微调。
2024-05-21
【学习】MOELoRA：基于MOE应用LoRA微调
将稀疏的LoRA专家换到MOE层里，将不同的医疗领域任务类型作为分类依据，实现不同模型对应解决不同任务，同时采用LoRA加快微调效率。
2024-05-18
【学习】MOE混合专家模型
学习了MOE混合专家模型的工作原理，对门控单元有了更深入的理解。
2024-05-08
【学习】LoRA微调原理
学习了LoRA微调大模型的算法原理，阅读原论文并整理学习知识
2024-05-07
【Unity】《星律》作品开发心得
经过历时3个月的努力，不断学习、策划、安排、推进，终于和小组五个人一起完成了第一部游戏作品~虽然还很不成熟，有很多不足之处，但毕竟算是自己的第一个作品，还请多多包涵啦。未来，还会继续努力！
2024-04-28