#大模型成本

1个月前

今天Fonder Park有篇文章说假设大模型的成本会快速下降是幻觉，很认同。就像计算机，虽然同等性能的设备的价格确实会快速下降，但主流配置的价格总是差不多的，几年前的配置虽然便宜但没人会买了。大模型的性能还远没有到过剩的时候，用量最大的还是最新一代的模型，老旧模型虽然便宜但不够用。所以如果现在亏钱，不要指望明年就能赚钱。

#大模型成本 #Fonder Park #性能过剩 #最新一代模型 #亏钱

1个月前

#上下文工程我最近在做一个内容摘要生成的小功能，本来以为是个简单的任务：用户输入长文本，我调用更强、更大上下文的模型，让它生成优质摘要。结果发现，这一过程的成本比我预想的高得多。高质量模型 → 价格昂贵大上下文窗口 → Token 消耗成倍增长每月 20 美元的订阅费 → 很难覆盖这些成本对比下来，连 OpenAI 和 Cursor 这样的公司都不例外。以我自己为例，上个月在 Cursor 上花了接近 100 美元，其中大部分都用在 Claude 模型上，这意味着 Cursor 从我这里几乎没赚到钱。这背后反映了一个更大的行业问题：用户对高质量体验的要求 → 迫使应用方使用昂贵的大模型长上下文输入 → 成本随 Token 增长呈线性甚至指数级上升订阅模式的收入上限 → 无法有效平衡高频、高消耗用户因此，对于任何想做 AI 应用的人来说，“上下文工程”是不可回避的核心能力。它的目标是在满足任务效果的同时，最大限度减少传给模型的内容量，用结构化、抽取关键信息的方式，让模型少读冗余、多读核心，从而显著降低计算开销。因此，对于任何想做 AI 应用的人来说，“上下文工程”是不可回避的核心能力。它的目标是在满足任务效果的同时，最大限度减少传给模型的内容量，用结构化、抽取关键信息的方式，让模型少读冗余、多读核心，从而显著降低计算开销。

#内容摘要生成 #上下文工程 #大模型成本 #Token消耗 #AI应用