LLM 持续学习的启示： 如果我们要让 LLM 进行持续学习，我们不能指望通过平滑的、均匀的 SGD（随机梯度下降）微调来实现。那种方式抹杀了“时间”的突变性。 我们需要允许 LLM 在与环境交互（ICL）时，偶尔发生剧烈的权重重组（Large Updates），模拟这种“间歇性”。 这也意味着： 1. 真正的学习不是线性的： 它不是每天进步一点点（Gaussian updates），而是漫