#刷榜benchmarking

马东锡 NLP 🇸🇪

1个月前

OpenAI 悄然隐藏CoT推理过程，逐渐走向完全黑箱化。想从 OpenAI 蒸馏 Agentic Reasoning 过程，变的非常困难。另一方面，近期的几篇 LLM RL 的论文的可靠性受到质疑，让使用开源的 Qwen 模型的工作变得似乎意义虚无化。另外，刷榜benchmarking的开源模型，又有多少存在 data contamination 的问题？闭源的不让蒸馏，开源的又不完全可靠。在LLM, Agent 一片火热的氛围下，benchmarking通货膨胀，AI 研究员除了收获了推特上的点赞，是否更迷茫了？

#AI乱象：失真、隐私泄露与信任危机· 86 条信息

#OpenAI黑箱化 #Agentic Reasoning #LLM RL质疑 #Qwen模型 #开源模型 #data contamination #刷榜benchmarking