#技术局限性

yesterday

4个月前

我觉得本地部署开源大模型只是一个美好的愿望。基本没有人的本地机器是跑得动满血版的，即便有这样的机器，很大的概率他也不会真的只放在家庭环境，有可能还是会跑到公司内部去。而满血版也并没有神挡杀神，佛挡杀佛，也就是接近了第一梯队的顶尖模型而已，是接近。而在本地，如果不跑满血版，拿他能干的事情其实就更少了。在量化了之后，推理模型也没有和以前的模型差出很多来。甚至有的时候还不如。如果是公司，可能还有一个并发的需求……对大多数人来讲，本地的扩容方法在工程上可能还是靠堆机器，那些在推理过程中的工程优化方法并没有普及。你肯定可以说我有数据保密的需求，那没问题。预期不要太高，又不是不能跑。我自己还有本地模型每天孜孜不倦的帮我干活呢。我只是想说大多数人对本地部署模型的美好愿望，现在这个阶段可能真的只能满足那么一点点。

#本地部署 #开源大模型 #技术局限性