All Of My Life.
开始阅读 Github
  我的梦想
不是每个人都应该像我这样去建造一座水晶大教堂，但是每个人都应该拥有自己的梦想，设计自己的梦想，追求自己的梦想，实现自己的梦想。梦想是生命的灵魂，是心灵的灯塔，是引导人走向成功的信仰。有了崇高的梦想，只要矢志不渝地追求，梦想就会成为现实，奋斗就会变成壮举，生命就会创造奇迹。——罗伯·舒乐
  推荐文章
收录集

【手记】小径

トレイル（小径）——cover.mamenoi

阅读更多
学习

【学习】Patch-level Routing in MOE：针对局部图像区域分配专家，提高样本效率

论文提出了一种基于图像局部区域（patch）的专家分配策略，而不是对整个图像进行分配；这种方法利用CNNs的结构特点，将输入图像分割成若干个patch，每个patch独立地分配给不同的专家，从而提高效率。

阅读更多
感悟

【手记】2024-新春寄语

又是一年新春时节，一起为新的一年献上祝福！

阅读更多
学习

【学习】“视界感知者”项目开发文档

上传一下大学期间做的最有成就感的一个项目！“视界感知者”是完全由我们大学本科生团队一起开发的一款盲杖产品，虽然技术实现并不复杂，主要牵涉API掉用、服务器通信与工作流搭建，但经过不断迭代最终成功完成产品还是很自豪的~

阅读更多
【学习】在DeepSeek-R1-1.5b模型上做一个简单的lora微调~ 【学习】在DeepSeek-R1-1.5b模型上做一个简单的lora微调~
最近开始上手微调模型做些小项目，所以先简单写了个lora微调DeepSeek-R1-Distill-Qwen-1.5B的脚本，熟悉熟悉一些基本的库和微调操作。记录一下~
2025-02-18 学习
学习笔记
【学习】手写一个lora微调算法~ 【学习】手写一个lora微调算法~
手写个lora微调算法，熟悉一下手动lora类的实现，以及装载到模型上微调的方法。下一步继续学习一下手写MoeLoRA，以及DeepSpeed和Accelerate框架的使用方法~
2025-01-22 学习
学习笔记
【学习】DeepSeekMoE：我们需要更多Experts！ 【学习】DeepSeekMoE：我们需要更多Experts！
将MOE的专家数进一步分割细化，增设共享专家，预训练模型的工作。话说今年DeepSeek真火哇
2025-01-05 学习
学习笔记
【学习】手搓Transformer：Conbination 【学习】手搓Transformer：Conbination
回想起上次仔细看transformer还是上次，现在遗忘得又有点多了，干脆从原理到代码重新过一遍，于是就有了这篇博客~
2024-12-27 学习
学习笔记
【学习】手搓Transformer：Encoder & Dencoder 【学习】手搓Transformer：Encoder & Dencoder
回想起上次仔细看transformer还是上次，现在遗忘得又有点多了，干脆从原理到代码重新过一遍，于是就有了这篇博客~
2024-12-26 学习
学习笔记
【学习】手搓Transformer：Multi-Attention 【学习】手搓Transformer：Multi-Attention
回想起上次仔细看transformer还是上次，现在遗忘得又有点多了，干脆从原理到代码重新过一遍，于是就有了这篇博客~
2024-12-25 学习
学习笔记
1 / 3