#压缩技术

1个月前

LLM 优化，常用技巧是压缩，有两个相反操作路径。 1, 对输入进行压缩，常见于旗舰级模型，用概念替代大段描述；李继刚“神级 prompt”是典范，"Oscar Wilde" "鲁迅" "林语堂"替代行文风格；难度在于对概念的抽象理解和积累，并且需要反复尝试，跨模型适配差； 2. 对输出进行压缩，适用于所有模型，尤见于 agentic 产品，用精准封装的 tools 替代agent 完整执行任务；难度在于 tools 尺度的选择，太少没效果，太多又会占据注意力，导致效果劣化，考验设计哲学；

#LLM优化 #压缩技术 #输入压缩 #输出压缩 #tools