#训练与推理差异

2天前

很多投资AI硬件公司的人，其实并不真正理解“训练（Training）”和“推理（Inference）”在算力需求上的巨大差异。普通用户在使用AI应用时，实际消耗的算力极少，远远低于模型训练阶段。大模型（如 GPT-4、Claude、Gemini 等）在训练时，需要数千甚至上万张 H100 显卡并行运行数周。而进入推理阶段后（也就是你在手机上向ChatGPT提问时），只需几张 GPU 的部分算力，有时甚至仅靠 CPU 或低功耗芯片即可完成。就是说每次调用 GPT、Midjourney、Claude 等应用时，所消耗的算力仅为训练期的百万分之一到千分之一。

#AI硬件投资 #训练与推理差异 #算力需求 #大模型训练 #GPU