yesterday

我觉得本地部署开源大模型只是一个美好的愿望。 基本没有人的本地机器是跑得动满血版的，即便有这样的机器，很大的概率他也不会真的只放在家庭环境，有可能还是会跑到公司内部去。 而满血版也并没有神挡杀神，佛挡杀佛，也就是接近了第一梯队的顶尖模型而已，是接近。 而在本地，如果不跑满血版，拿他能干的事情其实就更少了。在量化了之后，推理模型也没有和以前的模型差出很多来。甚至有的时候还不如。 如果是公司，可能还有一个并发的需求……对大多数人来讲，本地的扩容方法在工程上可能还是靠堆机器，那些在推理过程中的工程优化方法并没有普及。 你肯定可以说我有数据保密的需求，那没问题。预期不要太高，又不是不能跑。 我自己还有本地模型每天孜孜不倦的帮我干活呢。 我只是想说大多数人对本地部署模型的美好愿望，现在这个阶段可能真的只能满足那么一点点。