#模型压缩

johann.GPT

2周前

最近研究 RAG 多了，很少关注微调，今儿看到一个不错的指南文章，分享一下对 LoRA 和 QLoRA 的理解： LoRA 通过分解权重更新矩阵为小矩阵来高效微调，大幅降低计算资源需求。QLoRA 在此基础上引入 4-bit 量化，结合高精度计算和低精度存储，进一步优化内存使用。两者都能在保持模型性能的同时显著降低训练成本。特别有趣的是 QLoRA 的量化感知训练机制，通过 LoRA 适配器来补偿量化误差，实现了性能和效率的完美平衡。这些技术让企业能够更经济地部署定制化模型，是 LLM 落地的重要工具。 #AI #LLM #MachineLearning

#LoRA #QLoRA #微调 #模型压缩 #自然语言处理

Frank

1个月前

deepseek又提升了不少，想起之前刷ImageNet的日子，用剪纸和各种channel wise的操作将ResNet砍掉一大半的参数可以不掉精度，但剪得越多训练时需要更仔细的去调参，模型收敛速度也会显著慢很多，小模型压榨性能真的很不容易

#DeepSeek #ImageNet #ResNet #模型压缩 #参数剪枝 #训练调参