6天前

看KIMIzhilin访谈给我的启发: LLM agentic 生成行为的训练,是在next token predition基础上构建新的生成路径模式(原来我认为只是MLP层主导,现在看来是attention和MLP共同作用于残差流) 思维模式的抽象大于行为模式的抽象,越抽象越能泛化,但构建能力越弱。 COT是顶级的,还有reflect/plan search模式思考和行为兼顾 code

相关新闻