#本地部署大模型失败

2周前

在丐中丐 Mac mini M4 测试了 Qwen3-VL-8B 4bit & 6bit 量化版本，速度见图。两个版本的 OCR 功能均存在识别错误，但 6bit 版本在关键数字、百分比及句子结构方面的识别准确率显著优于 4bit 版本。4bit 版本的错误更多，但是 M4 跑 6bit 又太吃力，第 N 次放弃本地部署大模型的尝试。

#Mac mini M4 #Qwen3-VL-8B #量化 #OCR识别错误 #本地部署大模型失败