马东锡 NLP 🇸🇪

「 Parallel Reasoning, LLM」 Multiverse: Your Language Models Secretly Decide How to Parallelize and Merge Generation Multiverse：让模型自己决定“何时拆分、如何并行、何时合并”，把经典 MapReduce 范式内化到生成过程中。 “在无限的多元宇宙中，每一种可能，终将在

「 Vibe Coding, LLM Coding 」 Training Language Models to Generate Quality Code with Program Analysis Feedback Vibe coding 的人们岁月静好，因为总有些出色的工作如 ReaL 在负重前行。 ReaL 让 Vibe Coding 不止于功能正确，更实现了代码的安全性与可维护性提升

想起一个瞬间： 为朋友公司做ICT Agent项目时，初代版本目标是取代一线运维工程师。 他们的日常工作仅是根据网络拓扑ping和trace几个关键IP，监控带宽，执行扩容，简单、重复。 为设计推理路径，公司召集这些工程师，让他们梳理任务、总结流程，以便优化Agent构建。 他们其中有些人似乎隐约察有些危机，但别无选择。最残酷的事，他们不得不为这个代替自己的agent出谋划策，甚至做 ab

OpenAI 悄然隐藏CoT推理过程，逐渐走向完全黑箱化。想从 OpenAI 蒸馏 Agentic Reasoning 过程，变的非常困难。 另一方面，近期的几篇 LLM RL 的论文的可靠性受到质疑， 让使用开源的 Qwen 模型的工作变得似乎意义虚无化。 另外，刷榜benchmarking的开源模型，又有多少存在 data contamination 的问题？ 闭源的不让蒸馏，开源的又不

「RLVR, Reasoning」 Spurious Rewards: Rethinking Training Signals in RLVR 当随意的奖励信号仍可以大幅提升模型性能，就得重新思考：到底是RL在学习，还是在放大某种“先验”行为。 "RLVR must somehow be surfacing useful reasoning representations learned d

思科的Agent是典型的垂直Agent例子。 其护城河不是agent work flow，而是网络虚拟化这套API，是ICT行业多年从On-Premise到cloud native转型的成果。 ICT的厂商谁没有完成cloud native的转型，谁就不可能把AI融合到它的产品中。 思科的例子，也应用于其他领域。 这个阶段，tool是垂直Agent的护城河。

「DeepSeek, Reasoning」论文 DeepSeek-Prover-V2: Advancing Formal Mathematical Reasoning via Reinforcement Learning for Subgoal Decomposition 用"sorry"做占位符，sorry，除了硬核，无法可说。 DeepSeek这篇在reasoning的追求上，到了一个让

「Qwen3, Token, Agent」分析 added_tokens， 如主板上的卡槽，预留大模型新功能空间。 昨天Qwen3发布，最亮眼的是，原生支持agentic tool call以及MCP。这篇分析，主要从tool call入手，了解大模型中added_tokens的作用和意义。 每当大模型发布，我都会打开它的tokenizer.json去看added_tokens。 adde

读书笔记：当 LLM 成为 Agent——从自然语言到“协议语言”的演化 这两周选了四篇极其出色的文章做了分享，ReSearch, ReTool, APR 和 PASTA。 它们虽然解决的具体问题不相同，但 general 的目标都一致，即让LLM知道 when and how 做决策，这就是agent的核心，要做精准的决策。 而这种精准与人类语言的模糊性不一致，但 LLM 的 token

「Agent, RAG, Reasoning」论文 ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning ReSearch，充满了 ReAct 的影子。它教会模型“何时求助于世界”；但局限在于，ReSearch 只能依赖一种工具。 作者提出了一种创新的框架，名为 ReSearch，旨在

「codex, ACI, Agent」论文 SWE-agent: Agent-Computer Interfaces Enable Automated Software Engineering 从 Human‑Computer Interaction (HCI) 到 Agent‑Computer Interaction (ACI) —— AI IDE 的基石与框架 今天 OpenAI 开源了

「LLM, Agent」论文 MOSAIC: Modeling Social AI for Content Dissemination and Regulation in Multi-Agent Simulations 有趣paper，Multi Agent能否模拟“社会实验沙盒”？ 这篇论文做了一件有趣的事，用LLM 扮演一群虚拟用户，在模拟社交平台上行为。 具体来说，MOSAIC 构建

「LLM, Reasoning」论文： (How) Do reasoning models reason? “真正的智能，是让模型在生成时就做出正确选择，而不是事后去验证哪个选项是对的。” 作者Subbarao Kambhampati，我不完全同意他，但我很喜欢他。2024年ACL Keynote，他批评当前对 Chain of Thought 的信仰如同宗教。——我们喜欢看到推理的样子，但并

「LLM, Reasoning」论文： Rethinking Reflection in Pre-Training 预训练卷土重来，reasoning 时代神奇的 “wait” 再现。 本周我最喜欢的一篇论文来了。 来自 Essential AI，由 Ashish Vaswani 主导，对写过论文的人来说，这个引用太熟悉了 （Vaswani et al., 2017）， Transforme

「Agent, Reasoning」论文： Generative Verifiers: Reward Modeling as Next-Token Prediction 拟人化的 reward model，超越机械的打分，一个非常聪明的方法。 之前的分享中提到过，在 Large Reasoning Model 时代，RL 的方法几乎都是 Reinforcement Learning with

「LLM x RL」DeepSeek 最新论文：Inference-Time Scaling for Generalist Reward Modeling 在 RL 中，Reward Modeling（RM）是一个非常重要的部分。RM 主要用于对 LLM 的生成结果进行打分，从而调整 LLM 的 policy，使其更符合 RM 设定的要求，比如更强的 reasoning 能力。 针对特定任务（

「LLM， Agent, RL的关系」 在LLM的语境下，Agent是能理解问题，自主进行推理（Reasoning），并采取行动的系统。你可以把它想象成一个非常聪明的助手，当你提出复杂问题时，它不会立即给出答案，而是会在内心进行推理和规划（Planning），再给出最终决定。 如果我们回顾prompt engineering中提高LLM Reasoning能力的方法，如Self-Consis

「Agent」论文：Executable Code Actions Elicit Better LLM Agents 从 ReAct 到 CodeAct 如果让我在所有 LLM 论文中选择我最喜欢的一篇，2022 年的 ReAct 绝对是前三名之一。 ReAct 大道至简，天才般地将复杂的强化学习（RL）过程，通过口头表达的方式表现出来，至今依然是 Agent 项目中最简单、最有效、最稳健的

更强的reasoning， 更好的Agent 论文分享： Thinking Machines: A Survey of LLM based Reasoning Strategies 在我们开发Agent的项目的时候，需要 更好的LLM reasoning的能力，以获得更高的任务完成准确率。 那么有哪些方法可以增强LLM的reasoning能力呢？ 沿着之前我分享的Testing time s

LRM论文选读：START: Self-taught Reasoner with Tools 这篇文章介绍了一种构建特定任务、私域Large Reasoning Model的有效方法，主要方法是微调，而且没有使用reinforcement learning，但却有非常类似reinforcement learning with human feedback的特征。 关键词有二： Test-ti

Large Reasoning Model时代, 几乎等于Reinforcement Learning + LLM的时代。 但RL专业性非常强，去参加ML的会议时，专门做RL的研究员都现场拿着笔纸推算数学公式，掌握起来学习难度较高。 分享一本RL的入门教材，从RL基础MDP，PPO，直到跟LLM结合，如RLHF，都有讲解，深入浅出。 Reinforcement Learning: An O

大语言模型 post-training 的变迁，从 Large Language Model (LLM) 到 Large Reasoning Model (LRM) 本周推荐论文：POST-TRAINING OF LARGE LANGUAGE MODELS Post-training，本质是在做一件事，即如何运用 LLM 的 pretrained knowledge 来解决实际任务，具体的方法

从 Chain of Thought 到 aha moment和wait，看大模型的 test time scaling和深度思考 大模型们在过去的一年，都有了自己的deep search, think, reasoning, 深度思考...等关键词或者产品。 作为NLP从业者，我都会禁不住问自己，这都是些啥...😅今天就来解读这个问题，这些产品的所有本质，来自一个学术词汇，即test time