论文提出了一种基于图像局部区域（patch）的专家分配策略，而不是对整个图像进行分配；这种方法利用CNNs的结构特点，将输入图像分割成若干个patch，每个patch独立地分配给不同的专家，从而提高效率。

在量化预训练模型的同时，为LoRA微调找到恰当的低秩初始化，同时在量化的过程里引入微调。

将稀疏的LoRA专家换到MOE层里，将不同的医疗领域任务类型作为分类依据，实现不同模型对应解决不同任务，同时采用LoRA加快微调效率。

学习了MOE混合专家模型的工作原理，对门控单元有了更深入的理解。

学习了LoRA微调大模型的算法原理，阅读原论文并整理学习知识