axtrur

axtrur

0 关注者

1天前

今天组内小伙伴在内部agent平台的自定义prompt里增加了一个{{CURRENT_DATE}}的模板变量的功能,被我驳回了,发现其实挺多agent工程师并不知道context caching这个机制,举个例子,如果在一个sytem prompt里加了{{当前时间}}的动态变量,你会发现几次对话的cache hit会变成这样,极大增加成本