#KV缓存

1个月前

构建Manus的经验教训，6个经典的上下文工程的方法论值得学习： 1、提升KV缓存命中率降低token成本。 2、前缀提示词中的tool，在不同轮次对话中，不用的tool部分采用遮盖非移除，这样提升kv cache的命中率。 3、使用文件系统作为上下文，例如，只要保留URL，网页内容就可以从上下文中移除，保存在外部文件系统中；如果沙盒中仍然保留文档路径，则可以省略文档内容。这使得Manus能够缩短上下文长度，而不会永久丢失信息。 4、在不同轮次的context中，通过不断重写todo待办事项列表，Manus将其目标复述到上下文的末尾，提升全局注意力控制。 5、改善Agent行为最有效的方法：将错误的尝试保留在上下文中。 6、有效避免agent降智的解决方法是：增加多样性，不要让agent陷入少样本学习的降智状态。 blog： #manus #agent #contextengineering

#上下文工程 #KV缓存 #token成本 #文件系统 #Manus

1个月前

Manus 团队发布 Blog，解密上下文工程实践这是花了用几千万美元学费，实际各种踩坑，才得到了一些反共识的经验非常宝贵 1. 上下文工程比“从头造轮子”更香 Manus团队一开始就决定：别自己训练大模型，直接用现成的模型，把精力放在“怎么喂模型好吃的上下文”上。这样产品能快速迭代，模型升级了，产品也能跟着飞。 2. KV缓存命中率，省钱又提速的秘密武器 KV缓存就像“记忆力外挂”。只要上下文前缀不变，模型能复用之前的计算，推理又快又省钱。比如，缓存命中时的成本能比没命中便宜10倍！所以，团队拼命想办法让上下文“长得一样”，别乱动。 3. 上下文只加不改，别乱动历史就像写日记，不能回头改昨天的内容。只往后追加新内容，这样缓存才不会失效。哪怕是小小的时间戳变化，也会让缓存白搭。 4. 工具多了别乱删，掩码比删除更聪明 Agent能用的工具越来越多，像超市货架一样。以前想着动态加减工具，结果缓存全失效，模型还晕头转向。后来学聪明了：工具都留着，用“掩码”让模型只看到该用的那几个，其他的暂时“隐身”。 5. 文件系统是超级外挂记忆上下文窗口再大也有极限，怎么办？Manus直接把文件系统当成“外挂大脑”，模型需要啥就去文件里找。这样任务再复杂也不怕，信息随时能查回来。 6. 错误要留下，别急着擦屁股 Agent犯错很正常，别急着把错误删掉。把“走过的弯路”留在上下文里，模型下次看到就能学乖，不会老是踩同一个坑。 7. 少样本提示别太单一，适当加点花样如果上下文里全是一样的例子，模型容易“套路化”，一直重复同样的操作。Manus会故意加点小变化，让模型保持新鲜感，避免陷入“机械式”决策。

#Manus团队 #上下文工程 #大模型 #KV缓存 #经验总结