非常感谢马老师的打call !! 忍不住分享一点SkillCraft背后的故事。初衷起源于我们去年对 embodied LLM agent RL 的探索。当时我们让大模型用 RL 学推箱子，怎么训都训不上去。探索之后我们发现，这不是 RL 的问题，而是 grounding 的问题：任务极度依赖坐标，但模型却无法从一堆二维字符串里自己提取出坐标信息。无奈之下我们当时用了简单粗暴的解法：直接改渲

#马老师 #SkillCraft #embodied LLM agent RL #推箱子 #RL #grounding #坐标信息

小牛 OTC

1周前

今日深夜学习，马老师的香港演讲。

Ken Wong

4个月前

马老师的英文水平比不上叉友们，可口才还是很好的。2018年回头看居然感觉那么遥远。

Gorden Sun

4个月前

Cursor发布了Composer模型，Windsurf发布了SWE-1.5模型，AI IDE都开始自研模型，摆脱对模型厂商的依赖。AI IDE有用户的使用场景和数据，做好RL在代码领域可以一战。

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

5个月前

RL为什么会导致Model collapse，自相似性危险：模式崩塌（Mode collapse）： - 重复生成相同内容 - "我是AI助手，我是AI助手，我是AI助手..." - 失去多样性过度规律化： - 所有回答都遵循相同模板 - 失去创造性和灵活性 - "机械感"

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

6个月前

arXiv预印本2509.04259，探讨了在线强化学习（RL）在fine-tuning基础模型时为什么比监督微调（SFT）遗忘更少的问题 RL’s Razor：在所有解决新任务的策略中，RL偏好KL散度（Kullback-Leibler divergence）相对于原始模型最小的解决方案