#CWM

4天前

代码世界模型：构建更智能代码系统的新工具代码世界模型 (CWM) 是一个拥有 320 亿个参数的开源语言模型。它的目标是帮助研究人员构建不仅能生成代码，还能理解代码和命令如何影响计算机系统的人工智能系统。你可以把它想象成一个“数字侦探”，可以逐步追踪代码的行为，从而更好地解决复杂的编程问题。 CWM 包含哪些功能？ - **模型权重**：提供三个版本——预训练版本（基于海量代码数据训练）、SFT 版本（针对特定任务进行微调）和指令调整版本（根据人类指令进行训练），开发者可以根据自身需求选择合适的版本。 - **技术细节**：一份详细的报告，解释 CWM 的构建过程、功能以及使用方法。 - **工具**：启动代码以运行模型，在标准基准测试中对其进行测试，并重现结果。基准测试包括验证代码正确性（SWE-bench Verified）、测试编码速度（LiveCodeBench）以及检查数学和推理能力（AIME、MATH）。 ### CWM 的工作原理 CWM 不仅仅是在代码上进行训练，它还能模拟*代码的行为*。关键在于： - **在训练过程中学习真实世界的行为**：它从数百万条 Python 执行轨迹以及代理如何与容器化系统交互（例如在隔离环境中运行代码）中进行学习。这有助于它实时“看到”变量如何变化、函数如何运行以及错误如何发生。 - **在训练后进行真实世界任务**：之后，它使用强化学习 (RL) 在三个方面进行微调： - 可验证编码（以确保代码按预期运行）。 - 数学问题求解（因为编码通常需要数学逻辑）。 - 多轮软件工程（用于处理长时间、复杂的对话，例如与人类协作者进行调试）。

#代码世界模型 #CWM #开源语言模型 #代码理解 #AI代码系统