#GPT-5侧重实用性改进

1个月前

关于 GPT-4.5/5 及更多信息的摘要：太长不看版 GPT-4.5 (“Orion” / 猎户座) * 最初以 Orion 为代号开发，并计划作为 GPT-5 发布。 * 性能令人失望：与 GPT-4o 相比没有重大飞跃。 * 失败原因： * 用于预训练的高质量网络数据日益枯竭。 * 优化方法在小模型上有效，但无法扩展到大模型。 * 后果：于 2025 年 2 月作为 GPT-4.5 发布，并迅速失去了重要性。 GPT-5 * 焦点：侧重于实用性改进，而非量子跳跃式的发展。 * 编程与数学：能编写更简洁、功能更丰富、用户体验更友好的代码。 * 智能体能力：更擅长处理复杂的任务列表和边缘案例（例如，客服退款）。 * 效率：能更高效地使用计算资源，在不大幅增加算力消耗的情况下提供高质量答案。 * 新技术： * 采用强化学习与“通用验证器”（Universal Verifier），该验证器能自动核查答案。 * 基于 o 系列（o1, o3）的经验，该系列在纯推理任务上表现强劲，但在聊天对话中性能下降。 * 结果：实现了增量式但具有商业价值的改进——但并非像 GPT-3 到 GPT-4 那样的飞跃。问题与内部动态 * 技术障碍： * 聊天模型（“学生模型”）的性能下降。 * 预训练的局限性和数据稀缺。 * 内部矛盾： * 研究人员因 Meta 的优厚薪酬（锁定式合同）而离职。 * 研究与商业之间的冲突：抵制与微软建立过于紧密的关系。 * 研究主管 Mark Chen 与副总裁 Jerry Tworek 在 Slack 上发生公开摩擦；同时，Mark Chen 在团队重组和研究员离职事件中也是一个有争议的人物。与微软的交易 * 微软拥有到 2030 年的独家权利，并计划在营利性公司架构中持有约 33% 的股份。 * 战略性谈判正在进行中，同时 OpenAI 正在为可能的 IPO 做准备。

#GPT-4.5性能未达预期 #GPT-5侧重实用性改进 #OpenAI内部矛盾 #OpenAI与微软合作 #AI模型发展瓶颈