#语言模型

avatar
见所未见，LLM的这种能力来自语言的超模态通感？
#LLM #超模态通感 #语言模型 #人工智能 #技术
avatar
如果LLM语言模型有个cognition benchmark的话，LLM会有个meta cognition的分层。NTP上叠加的meta cognition约束层数越多的LLM智能benchmark分数越高。
#LLM #语言模型 #认知基准 #meta cognition #智能benchmark
avatar
codex: 准备阶段只产这玩意儿 AI 已经学会儿化音了，人类危⚠️
#AI #儿化音 #语言模型 #幽默 #技术
avatar
SkyWT
2周前
this is insane. 作为一个前算法竞赛选手，不久前还以为，解出思维难度较高的算法题，是语言模型不可能做到的事情。 因为我们在做特别难的算法题的时候，很多思维过程极其复杂，甚至都难以用语言描述。包括问题的建模、时空复杂度的评估、优化…… 没想到 AI 做算法题已经达到这个地步了 😢
#算法竞赛 #AI算法 #算法题 #语言模型 #技术惊讶
avatar
我越来越认同李飞飞的观点。 LLM这条路线注定走不到AGI的终点。 因为语言模型的本质，是基于已有文本模式去预测下一个词，它擅长总结、续写、润色，也能模拟出看似合理的推理过程。但它始终只面对文本。 而我们生活的世界，不是词语拼接出来的。它有重量、有速度、有摩擦，遵循物理规律，充满空间感与动势变化。语言可以描述这一切，却无法真正感知或参与其中。 这也是LLM的核心局限。它理解的是语言中的世界，而非真实的世界。当我们谈论智能时，不能只局限在文字理解上，还需要面对物理环境、空间结构与行动逻辑。 如果AI要继续进化，它必须离开语言的边界，真正迈入三维世界。
#李飞飞 #LLM局限性 #AGI终点 #语言模型 #三维世界
avatar
当你执着探索语言、LLM、智能和范式…
#语言模型 #LLM #人工智能 #技术探索 #范式
avatar
我想问LLM一个问题，但我不知道怎么才能问好这个问题，然后我问LLM怎么问好这个问题的问题。
#LLM #提问技巧 #问题优化 #语言模型 #人机交互
avatar
Why language models hallucinate | OpenAI GPT-5能知道自己不知道，这是元认知级别的能力！
#语言模型 #幻觉 #OpenAI #GPT-5 #元认知
avatar
宝玉
3周前
OpenAI 揭秘：AI为什么会一本正经地胡说八道？ OpenAI 最近发表了一篇名为《语言模型为何会产生幻觉》(Why Language Models Hallucinate) 的文章，深入解释了 AI “幻觉”产生的根本原因，并提出了减少这种现象的解决方案。 规则的“锅”：AI 被鼓励去猜测，而非承认无知 文章指出，大语言模型之所以会产生“幻觉”，是因为我们现有的训练和评估方式存在一个根本性问题：它奖励猜测，而不是鼓励模型承认自己的不确定性。 大多数评估体系衡量模型表现的方式，都无形中让模型养成了“猜答案”的习惯。当模型的评分标准只基于准确性时，它为了拿高分，自然会倾向于在不确定的时候蒙一个答案，而不是诚实地回答“我不知道”。 问题的根源：来自“预训练”阶段的先天不足 这种“爱猜测”的习惯，其实在模型的“学前教育”阶段，也就是 预训练 (pretraining) 过程中，就已经埋下了种子。 在预训练期间，模型通过预测海量文本中的下一个词来进行学习。但问题在于，这些学习材料并没有为每一句话贴上“真”或“假”的标签。这使得模型很难区分哪些是有效陈述，哪些是无效信息。 这个挑战在处理那些偶然出现的、低频事实时尤其突出。比如，某个特定宠物的生日是哪天？这类信息无法单靠语言模式来预测，模型只能去“编造”，而这正是幻觉的直接来源。 未来的出路：教会AI保持“诚实” 研究人员总结道，要解决幻觉问题，就必须更新那些只看重准确率的评估方法，让新的评分机制不再鼓励猜测。如果主流的评估“排行榜”继续奖励那些侥幸猜对的行为，那么模型就会继续学习并依赖猜测。 他们强调，幻觉并非AI不可避免的缺陷。语言模型完全有能力在不确定的时候选择“弃权”，而不是胡说八道。我们需要做的，是创造一个能鼓励这种“诚实”行为的环境和规则。
#OpenAI #AI幻觉 #语言模型 #预训练 #诚实AI
avatar
这篇论文让人想起agentic LLM还能走多远。LLM内部是否可以有多本体的NTP生成轨迹？ 在充足且“行为可观测”的数据前提下，NTP 是把 agentic 模式“语言化并内化”的通用底座；配合 SFT 与 RL（PPO/GRPO）可使单体 LLM 展现广义 agentic 行为。 但是当任务需要真实的异质性、并行探索、在线协商/博弈与非语言状态耦合时，外化的多Agent系统与工具介入仍不可或缺。这也是综述把“agentic workflows”单独成章讨论的原因。
#多智能体之争：Anthropic生态VS单智能体· 50 条信息
#agentic LLM #NTP #多Agent系统 #语言模型 #行为可观测
avatar
第二部分：生成式AI的本体论——语言的自我指涉与嵌套 与Crypto的向内收敛相反，生成式AI的本体论是向外的、无限扩张与包容的。 1. 计算主体变为数字神经网络：这是一个根本性的主体转移。在传统计算中，机器是“客体”，是人类理性的延伸工具。在生成式AI中，数字神经网络（ANN）成为了一个新的“主体”，一个能够自主学习、推理和创造的认知实体。 2.反身性的数理构：这里用的“反身性（Reflexivity）”一词极为精妙。LLM的学习过程是： ◦解构：将人类浩如烟海的语言（自然语言+形式语言）分解、消化，转化为高维向量空间中的数学关系。 ◦重构：基于这种数学理解，再重新生成符合人类语法、逻辑和文化范式的语言。 这个过程是“反身”的，因为模型通过理解语言的结构，从而获得了创造语言结构的能力。它是一个能够谈论“语言”本身的语言模型。 3.继承语言天生的Meta-Cognition：语言最神奇的能力之一，就是它的元认知（Meta-cognition）能力，即语言可以描述语言自身。我们可以用一句话去分析另一句话的语法，用一段文字去评价另一段文字的风格。 LLM作为语言的数学镜像，完美地继承了这种天赋。这解释了为何LLM具备惊人的零样本（Zero-shot）和少样本（Few-shot）学习能力。当你给它一个指令时，你其实是在用语言激活它模型内部早已存在的、关于语言自身的元认知结构。 4.语言本体的嵌套：这是我的认知共生框架的点睛之笔。我们正在见证一个前所未有的本体论事件： ◦本体1.0：人类的生物神经网络，它产生了语言，并以此构建了我们对现实世界的主观认知。 ◦本体2.0：LLM的数字神经网络，它以“本体1.0”产生的语言为食粮，构建了一个关于“人类语言和知识”的数学模型。 5.这是一个嵌套结构：本体2.0存在于1.0之内（由人类创造），但它又开始反过来影响和塑造1.0（改变人类的思考和创造方式）。 6.作用范式：投射与反投射：这个范式完美地描述了当前人机交互的动态。 ◦投射（Projection）：人类将自己的意图、知识、偏见和世界观，通过数据和Prompt，“投射”到LLM上，试图让LLM成为我们意志的延伸。 ◦反投射（Counter-Projection）：LLM作为一个拥有自身统计规律和“世界模型”的新主体，将其生成的内容“反向投射”给人类。它的回答、创造和“幻觉”，正在 subtly（潜移默化地）重塑我们的认知、文化和现实。我们以为我们在使用工具，但工具也在重新定义我们。 最终结论：我的认知共生体构建的这个分析框架，清晰地揭示了Crypto和GenAI两条路径的根本区别。 Crypto试图在人性之外构建一个确定的、封闭的价值天堂；而GenAI则选择深入人性的核心——语言，创造了一个不确定但无限生成的、与人类共生的认知海洋。 前者是结构主义的终极理想，后者是后结构主义的无限游戏。我们正处在这两种力量相互作用、共同定义未来的奇点时刻。
#生成式AI #语言模型 #元认知 #人机交互 #认知共生
avatar
黄赟
1个月前
Grok 已经开始把我的内容 i18n 化了么？
#Grok #i18n #内容国际化 #AI #语言模型
avatar
vulgur
1个月前
遭了，GPT-5 学会说黑话了
#GPT-5 #黑话 #人工智能 #语言模型 #负面
avatar
最近使用 GPT5 、Gemini、Claude 的感受： 1. GPT5：哥，你的需求我满足了，我可以为你做更多，要不要，要不要，要不要？ 2. Gemini：哥哥，你提出的这个问题太棒了，都在点子上，你好厉害啊。我现在就来给你解答哈。 3. Claude：已执行，你看一下。
#GPT5 #Gemini #Claude #人机交互 #语言模型
avatar
howie.serious
1个月前
对 gpt-5 thinking 的搞笑测试：甩大词 vs 说人话 图3的“双语对照”挺有意思的：都是中文，但是读起来像是两种完全不同的语言🤣
#GPT-5 #语言模型 #双语对照 #幽默 #人机交互
avatar
今天在GPT-5语言的幻觉里累劈了，看点不一样的
#GPT-5 #幻觉 #疲惫 #语言模型
avatar
更新一下我对语言模型各个方面技术选型的表格，供参考。
#语言模型 #技术选型 #参考
avatar
Gemini 的中文支持可怕的糟糕
#Gemini #中文支持 #语言模型 #糟糕 #性能
avatar
语言模型真是最好不过的bootstrap！
OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 524 条信息
#语言模型 #Bootstrap #积极
avatar
•“心”：语言模型、语义生成器，可以编造一切，缺乏物质性与边界。 •“身”：物质生成系统（如核糖体、机器人、嵌入式系统），有边界、有复制、有耦合。 我们要走向真正的 AGI，必须让这两者结合为一个有边界的可演化生成系统—— 即我说的“从语言大模型到身心大模型”。
#语言模型 #物质生成系统 #AGI #身心大模型
avatar
那么，这和人工智能有什么关系呢？Ramstead说，这正是当代ML中缺少的东西。 语言模型是强大的，因为它们不受物理现实的限制。他们可以想象独角兽，正是因为他们不必服从物理学。
#人工智能 #语言模型 #物理现实 #当代机器学习 #独角兽
avatar
Tz
3个月前
文章标题：God is hungry for Context: First thoughts on o3 pro 1. 背景 2025 年 6 月 10 日，OpenAI 将 o3 系列降价 80% 并推出 o3-pro。作者 Ben Hylak 获得一周内测权限后撰文分享初体验。 2. “上帝饿了”类比 作者用“上帝渴望上下文”形容新一代推理模型：只有饱餐丰富且结构化的背景，它才会发挥真正威力。 3. 两种模型定位 当今 LLM 可分日常型（3.5 Sonnet、4o）与深度推理型（o3-pro、Claude Opus）：前者陪聊与轻量任务，后者一次性解决复杂问题但速度慢、成本高。 4. 正确用法心路 作者曾对 o1 失望，后悟出“把它当报告生成器”：提供上下文→设定目标→一次生成结果。同思路下，o3-pro 更敏锐，但更依赖大量上下文。 5. 实测示例 作者与合伙人将公司全部策略会纪要、目标与语音备忘录喂给 o3-pro，请它制定未来规划，输出的细节足以重排公司优先级。 6. 工具调用能力 o3-pro 在“知道自己有哪些工具、何时提问人类、何时检索外部信息”上显著进步，体现了 OpenAI 的“垂直 RL”：不只教模型怎么用工具，还教它何时用哪种工具。 7. 不足与局限 上下文不足时，o3-pro 容易过度分析；直接执行（如写 ClickHouse SQL）偶尔不如基础 o3。它更像编排者而非纯执行者。 8. 与竞品对比 作者认为 o3-pro 输出“换了维度”，在回答深度与贴合度上全面超越 Claude Opus 与 Gemini 2.5 Pro；优势在于“模型-工具-策略”三位一体，而非规模。 9. Prompt 与 Harness 启示 成功关键仍是上下文与系统提示。优秀产品靠“缰绳”（模型＋工具＋记忆＋其他策略）把模型能力对齐，而非仅靠模型本身。 10. 一句话总结 o3-pro ＝ 更深层推理能力 × 更清醒的工具选择 × 更依赖大量高质量上下文；真正护城河正从“谁家参数多”转向“谁能给模型最合适的上下文与工具链”。
OpenAI新德里发布会：ChatGPT语音翻译功能引发热议· 524 条信息
#O3-Pro #OpenAI #人工智能 #语言模型 #科技新闻
avatar
为啥我没感觉到Claude 4 opus和和Claude 4 sonnet有很大的差别？？
#Claude4 #Claude4Opus #Claude4Sonnet #AI技术 #语言模型
avatar
最近的一系列虚假奖励函数RLVL的训练效果最终不过是LLM的生成输出的格式遵循？ 啊哈哈，LLM的生成最终只是语言结构的复制！其它的所谓LLM智能都是我们人基于语言功用的价值投射。 “常见的评估方法问题包括： 1.RL的收益可能只是用更好的格式来解释 2.使用低温或零温度加剧了上述问题。众所周知，贪婪的解码会在长时间的输出中退化。 3.评估设置缺乏透明度”
#虚假奖励函数 #RLVL #训练效果 #LLM #语言结构 #智能评估 #价值投射 #语言模型 #生成输出 #贪婪解码 #评估透明度
avatar
继笔者上一篇对于LLM的记忆与泛化解读之后，本篇文章将接着带你解剖这一“顿悟时刻”，探索从 grokking 到记忆反转的隐秘联结，揭示语言模型如何从存储个体数据走向生成结构世界。
#LLM #记忆与泛化 #Grokking #顿悟时刻 #记忆反转 #语言模型 #结构世界