回想起上次仔细看transformer还是上次，现在遗忘得又有点多了，从原理到代码重新过一遍，于是就有了这篇博客~
2024-12-23
“视界感知者”项目开发文档
上传一下大学期间做的最有成就感的一个项目！“视界感知者”是完全由我们大学本科生团队一起开发的一款盲杖产品，虽然技术实现并不复杂，主要牵涉API掉用、服务器通信与工作流搭建，但经过不断迭代最终成功完成产品还是很自豪的~
2024-09-18
Patch-level Routing in MOE：针对局部图像区域分配专家，提高样本效率
论文提出了一种基于图像局部区域（patch）的专家分配策略，而不是对整个图像进行分配；这种方法利用CNNs的结构特点，将输入图像分割成若干个patch，每个patch独立地分配给不同的专家，从而提高效率。
2024-05-28
MOELoRA: 一种基于MOE多任务医疗应用下的高效参数微调方法
将稀疏的LoRA专家换到MOE层里，将不同的医疗领域任务类型作为分类依据，实现不同模型对应解决不同任务，同时采用LoRA加快微调效率。
2024-05-18
MOE混合专家模型架构
学习了MOE混合专家模型的工作原理，对门控单元有了更深入的理解。
2024-05-08
LoRA微调原理
学习了LoRA微调大模型的算法原理，阅读原论文并整理学习知识。
2024-05-07
水手与海
很久以前记下的一段。
2024-04-19
NovelAI生成绘画素材
借助NovelAI试了一下AI绘画，分享一下经验~⁽(◍˃̵͈̑ᴗ˂̵͈̑)⁽
2024-04-14
在Linux服务器上升级Python版本
今天更新了一下Linux服务器的Python版本，分享一下经验~⁽(◍˃̵͈̑ᴗ˂̵͈̑)⁽
2024-03-11
2024-新春寄语
又是一年新春时节，一起为新的一年献上祝福！
2024-02-10
トレイル（小径）
トレイル（小径）——cover.mamenoi，歌词写得非常棒所以记录下来了
2023-10-26
写在前面
对自己的博客网页做一个前言！后续还有想写的话也会在这里更新~
2023-10-11