#模型限制

2周前

人们总是说，未来 Token 会越来越不值钱，但我觉得人们仍然低估了 Token 性价比的意义。只要 LLM 模型的底层原理不变，它永远就是一个概率模型，人们围绕 LLM 的工作方式，永远是用各种工程化的技巧和手段，从无限可能的词元组合里压榨出最有价值的那部分。没有任何模型可以一次性给出银弹一样的结果，因此，通过循环不断萃取一定是常态，用时间和 Token 空间换质量也是常态。因此 LLM 真正的 ROI 是其目前 Token 价格的指数级叠加以后的成本 VS 收益。 Token 便宜和快速的价值会在人类想明白如何压榨 top1% 的价值的方法之后，被迅速放大。单次效果好，但是慢的模型，使用场景会被严重制约。 --- 我很少断言一些事儿，但这是我最近自认最有价值的思考结论和思考痕迹了。供大家参考和讨论。不知道值不值得录一期播客呢。

#token经济 #LLM模型 #概率模型 #工程化技巧 #挖掘价值 #模型限制

10个月前

创业公司的资源永远是有限的有些决策必须是和直觉背道而驰的，不要试图去解决那些很快就不会成为问题的问题而应该专注于那些即使技术发展也会依然重要的问题，（而这些问题的解决方案往往与AI无关） Granola的例子： Granola一开始只能处理短时间的会议。这是用户抱怨最多的问题但这是由于模型上下文窗口的限制，团队判断，这不是应用层的团队需要花费巨大努力去解决的问题，大模型的更新自然会解决这个问题

#创业公司 #资源有限 #决策 #直觉 #问题解决 #技术发展 #人工智能 #Granola #会议 #用户抱怨 #模型限制