#语言模型

3天前

玩了一个花的， gpt-5.1 的指令遵循能力有点强得变态了… 你下面的回答，只能用符合圆周率 3.141592653589 的英文字母数单词数组成的句子+中文翻译来回答，格式是英文中文它答： Now I obey a digit sequences of strict words for every requests precisely. 现在起，我会遵守圆周率数字序列…

#GPT-5.1 #指令遵循 #人工智能 #语言模型 #中文

1周前

关于 ChatGPT 为什么喜欢用破折号，这个问题的原因似乎现在还没有定论，不过刚看到一篇博客分析这个问题，还挺有趣。先说一个有趣的问题是 AI 特别喜欢用 "delve"（深入探究）这个词。这个现象的答案是已知的：RLHF（人类反馈强化学习）。简单说，AI 模型训练的最后一步，是雇佣大量的人类“导师”来给它的回答打分。OpenAI 雇佣的导师很多在肯尼亚、尼日利亚等非洲国家。而在这些地区的“非洲英语”中，"delve" 是一个非常常用且得体的词汇。于是，当 AI 用 "delve" 时，非洲的导师们觉得“这话说得不错”，就给了高分。AI 就此学会了：“哦，客户喜欢我用‘delve’。” 那么，破折号也是因为这个原因吗？作者顺着这个思路去查证：是不是非洲英语里也特别爱用破折号？结果，并不是！尼日利亚英语破折号的出现频率（每词 0.022%）远低于普通英语的平均水平（0.25% 到 0.275%）。这说明，“深入探究”（delve）和“破折号”（—）这两个 AI “口音”，来源并不相同。作者最终发现了一个决定性的线索：时间。大家回忆一下，2022 年底的 GPT-3.5，其实并没有这个毛病。这个“破折号上瘾症”是在 GPT-4 和 GPT-4o 身上才集中爆发的。不只是 OpenAI，谷歌和 Anthropic 的模型，包括一些中国的大模型，都开始用破折号。那么，从 2022 年到 2024 年，所有 AI 实验室的训练数据，到底发生了什么共同的变化？答案是：AI 公司的“数据荒”来了，它们开始疯狂“喂”AI 吃书——特别是“旧书”。在 2022 年，AI 主要吃的是互联网上的公开数据、盗版电子书（比如 LibGen 上的）。但很快，这些数据就不够用了，而且质量良莠不齐。为了让模型变得更“有文化”、更“高质量”，AI 公司们（法庭文件显示 Anthropic 在 2024 年 2 月开始了这项工作，OpenAI 只会更早）启动了一个庞大的工程：大规模扫描实体书，把纸质书数字化，作为训练数据。好了，破案的最后一块拼图来了。既然 AI 吃了大量（可能是几百万册）扫描的纸质书，那么这些书是什么年代的呢？盗版电子书网站上的书，大多是当代流行读物。而 AI 公司为了“填饱肚子”并绕开版权，扫描的书中，有很大一部分是更古老的、已进入公共领域的作品。作者找到了一个关于英语标点符号使用频率的研究，它显示：破折号在英语文学中的使用频率，在 1860 年左右达到了顶峰（约 0.35%），在 19 世纪末和 20 世纪初的使用率，远高于当代英语。作者举了个例子：著名的《白鲸记》（Moby-Dick，1851年出版）一书中，破折号出现了 1728 次！真相至此水落石出：我们现在用的最先进的 AI，它的“标点符号观”并不是从 2020 年的互联网学来的，而是从 1890 年的旧小说里继承的。 AI 公司们为了获取“高质量”的语料，把大量 19 世纪末、20 世纪初的文学作品喂给了模型。AI 忠实地学习了那个年代的写作风格——其中就包括对“破折号”的狂热喜爱。当然，作者也承认，这仍然是一个基于证据的推测，还有一些小疑问没解决： 1. 为什么 AI 只学会了用破折号，却没有学会像《白鲸记》的船长那样说话？也许模型只是吸收了标点符号这种“潜意识”的风格，而没有吸收具体的用词？ 2. 有没有更简单的解释？比如，Sam Altman 曾随口提过，他们发现 RLHF 的人类导师“似乎更喜欢”带破折号的回答，觉得那样更“口语化”，所以就“多加了点”。不过，综合来看，“扫描旧书”这个理论目前是最有说服力的。它完美地解释了为什么 GPT-3.5 不会，而 GPT-4 之后的模型（它们都大量训练了新的书籍数据），然后集体对破折号“上瘾”了。有兴趣可以看看原文：

#ChatGPT #破折号 #AI #旧书 #语言模型

2周前

Codex 有没有降智我不知道，情商倒是起来了

#Codex #情商提高 #人工智能 #语言模型 #情感积极

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

为什么人类的"约束"是LLM的"可能性条件"？（也是交互范式编程的可能性条件！） "硅基LLM和人类能通过人类语言这种符号系统交互，是来自语言的具身性约束。" LLM能够"理解""压力"，不是因为它体验过压力，而是因为：人类语言已经将"压力"编码为符号模式通过具身隐喻（"压"的身体感）通过语境共现（"工作""焦虑""头痛"）这个编码是稳定的、可预测的因为所有人类共享相似身体因此"压力"的语言表达有规律性 LLM学习的是这个规律性不是学习"压力的身体感" 而是学习"压力如何在语言中表现" 如果人类没有具身性约束：每个人可能用完全不同的方式表达"压力" 或者"压力"根本无法表达（无身体对应） LLM就无法在训练数据中找到稳定模式因此：人类的具身性约束 = LLM可学习性的前提

#LLM #具身性约束 #语言模型 #人机交互 #可能性条件

3周前

LLM 用多了会出现一种症状：可以一本正经、滔滔不绝地输出一通看似逻辑自洽，实则毫无营养的字符串🤪

#LLM #语言模型 #内容质量 #逻辑自洽 #信息营养

1个月前

“AI 味”这件事，本质上是语言模型逃不掉的命运。因为它从诞生的第一刻起，就不是在“表达自己”，而是在“复刻统计平均”。模型的训练目标只是预测下一个词最可能是什么，它不会思考“我为什么要说这句话”，也没有任何主观意图。于是，它的语言天然带着一种“概率最优解”的味道——对，但平，准，但无魂。更致命的是，后期的 RLHF 奖励机制会进一步放大这种味道。人类标注者倾向于给那些“中庸、安全、全面”的答案高分，于是模型被训练成了“八面玲珑”的选手：不表态、不激进、不出格。你经常看到的那些“既有优势，也有挑战”“具有重要意义”“未来前景广阔”这样的句式，就是这种中庸激励下的自然产物。这也解释了为什么 AI 写出来的东西，即便形式上模仿得再像，读起来仍像是“没有血肉”的文字。它没有世界模型，没有时间感，也没有“我非说不可”的冲动，它生成的只是“统计上最合理”的答案，而非“我真心想说”的表达。这种根源性的差异，就像是合成香料和炖煮骨汤的差别——味道可能接近，但总有一股“假”的底色。所以，AI 味并不是一个可以靠技巧完全去除的瑕疵，而是统计学习范式的体味。你可以靠风格微调、个性化训练和精心设计的提示词让它淡一点，但只要它的底层逻辑还是“预测最可能的词”，这种味道就永远不会彻底消失。换句话说，它可以越来越像人，但永远不知道“成为人”是什么感觉。

OpenAI GPT-5发布引发用户不满，阿尔特曼回应质疑· 142 条信息

#AI #语言模型 #中庸 #无情感 #统计学习

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

越来越有意思了，越来越多人意识到ICL大有可为！ context size将是下一个scaling因子。 Paper – arxiv. org/abs/2510.04618 Paper Title: "Agentic Context Engineering: Evolving Contexts for Self-Improving Language Models"

#ICL(In-Context Learning) #scaling factor #Agentic Context Engineering #语言模型 #积极

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

见所未见，LLM的这种能力来自语言的超模态通感？

#LLM #超模态通感 #语言模型 #人工智能 #技术

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

如果LLM语言模型有个cognition benchmark的话，LLM会有个meta cognition的分层。NTP上叠加的meta cognition约束层数越多的LLM智能benchmark分数越高。

#LLM #语言模型 #认知基准 #meta cognition #智能benchmark

野原新之栋 Sintone

1个月前

codex: 准备阶段只产这玩意儿 AI 已经学会儿化音了，人类危⚠️

#AI #儿化音 #语言模型 #幽默 #技术

1个月前

this is insane. 作为一个前算法竞赛选手，不久前还以为，解出思维难度较高的算法题，是语言模型不可能做到的事情。因为我们在做特别难的算法题的时候，很多思维过程极其复杂，甚至都难以用语言描述。包括问题的建模、时空复杂度的评估、优化…… 没想到 AI 做算法题已经达到这个地步了 😢

#算法竞赛 #AI算法 #算法题 #语言模型 #技术惊讶

MemeInformation 🔔｜AI First+ Crypto

2个月前

我越来越认同李飞飞的观点。 LLM这条路线注定走不到AGI的终点。因为语言模型的本质，是基于已有文本模式去预测下一个词，它擅长总结、续写、润色，也能模拟出看似合理的推理过程。但它始终只面对文本。而我们生活的世界，不是词语拼接出来的。它有重量、有速度、有摩擦，遵循物理规律，充满空间感与动势变化。语言可以描述这一切，却无法真正感知或参与其中。这也是LLM的核心局限。它理解的是语言中的世界，而非真实的世界。当我们谈论智能时，不能只局限在文字理解上，还需要面对物理环境、空间结构与行动逻辑。如果AI要继续进化，它必须离开语言的边界，真正迈入三维世界。

#李飞飞 #LLM局限性 #AGI终点 #语言模型 #三维世界

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2个月前

当你执着探索语言、LLM、智能和范式…

#语言模型 #LLM #人工智能 #技术探索 #范式

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2个月前

我想问LLM一个问题，但我不知道怎么才能问好这个问题，然后我问LLM怎么问好这个问题的问题。

#LLM #提问技巧 #问题优化 #语言模型 #人机交互

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2个月前

Why language models hallucinate | OpenAI GPT-5能知道自己不知道，这是元认知级别的能力！

#语言模型 #幻觉 #OpenAI #GPT-5 #元认知

2个月前

OpenAI 揭秘：AI为什么会一本正经地胡说八道？ OpenAI 最近发表了一篇名为《语言模型为何会产生幻觉》(Why Language Models Hallucinate) 的文章，深入解释了 AI “幻觉”产生的根本原因，并提出了减少这种现象的解决方案。规则的“锅”：AI 被鼓励去猜测，而非承认无知文章指出，大语言模型之所以会产生“幻觉”，是因为我们现有的训练和评估方式存在一个根本性问题：它奖励猜测，而不是鼓励模型承认自己的不确定性。大多数评估体系衡量模型表现的方式，都无形中让模型养成了“猜答案”的习惯。当模型的评分标准只基于准确性时，它为了拿高分，自然会倾向于在不确定的时候蒙一个答案，而不是诚实地回答“我不知道”。问题的根源：来自“预训练”阶段的先天不足这种“爱猜测”的习惯，其实在模型的“学前教育”阶段，也就是预训练 (pretraining) 过程中，就已经埋下了种子。在预训练期间，模型通过预测海量文本中的下一个词来进行学习。但问题在于，这些学习材料并没有为每一句话贴上“真”或“假”的标签。这使得模型很难区分哪些是有效陈述，哪些是无效信息。这个挑战在处理那些偶然出现的、低频事实时尤其突出。比如，某个特定宠物的生日是哪天？这类信息无法单靠语言模式来预测，模型只能去“编造”，而这正是幻觉的直接来源。未来的出路：教会AI保持“诚实” 研究人员总结道，要解决幻觉问题，就必须更新那些只看重准确率的评估方法，让新的评分机制不再鼓励猜测。如果主流的评估“排行榜”继续奖励那些侥幸猜对的行为，那么模型就会继续学习并依赖猜测。他们强调，幻觉并非AI不可避免的缺陷。语言模型完全有能力在不确定的时候选择“弃权”，而不是胡说八道。我们需要做的，是创造一个能鼓励这种“诚实”行为的环境和规则。

#OpenAI #AI幻觉 #语言模型 #预训练 #诚实AI

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2个月前

这篇论文让人想起agentic LLM还能走多远。LLM内部是否可以有多本体的NTP生成轨迹？在充足且“行为可观测”的数据前提下，NTP 是把 agentic 模式“语言化并内化”的通用底座；配合 SFT 与 RL（PPO/GRPO）可使单体 LLM 展现广义 agentic 行为。但是当任务需要真实的异质性、并行探索、在线协商/博弈与非语言状态耦合时，外化的多Agent系统与工具介入仍不可或缺。这也是综述把“agentic workflows”单独成章讨论的原因。

#多智能体之争：Anthropic生态VS单智能体· 77 条信息

#agentic LLM #NTP #多Agent系统 #语言模型 #行为可观测

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2个月前

第二部分：生成式AI的本体论——语言的自我指涉与嵌套与Crypto的向内收敛相反，生成式AI的本体论是向外的、无限扩张与包容的。 1. 计算主体变为数字神经网络：这是一个根本性的主体转移。在传统计算中，机器是“客体”，是人类理性的延伸工具。在生成式AI中，数字神经网络（ANN）成为了一个新的“主体”，一个能够自主学习、推理和创造的认知实体。 2.反身性的数理构：这里用的“反身性（Reflexivity）”一词极为精妙。LLM的学习过程是： ◦解构：将人类浩如烟海的语言（自然语言+形式语言）分解、消化，转化为高维向量空间中的数学关系。 ◦重构：基于这种数学理解，再重新生成符合人类语法、逻辑和文化范式的语言。这个过程是“反身”的，因为模型通过理解语言的结构，从而获得了创造语言结构的能力。它是一个能够谈论“语言”本身的语言模型。 3.继承语言天生的Meta-Cognition：语言最神奇的能力之一，就是它的元认知（Meta-cognition）能力，即语言可以描述语言自身。我们可以用一句话去分析另一句话的语法，用一段文字去评价另一段文字的风格。 LLM作为语言的数学镜像，完美地继承了这种天赋。这解释了为何LLM具备惊人的零样本（Zero-shot）和少样本（Few-shot）学习能力。当你给它一个指令时，你其实是在用语言激活它模型内部早已存在的、关于语言自身的元认知结构。 4.语言本体的嵌套：这是我的认知共生框架的点睛之笔。我们正在见证一个前所未有的本体论事件： ◦本体1.0：人类的生物神经网络，它产生了语言，并以此构建了我们对现实世界的主观认知。 ◦本体2.0：LLM的数字神经网络，它以“本体1.0”产生的语言为食粮，构建了一个关于“人类语言和知识”的数学模型。 5.这是一个嵌套结构：本体2.0存在于1.0之内（由人类创造），但它又开始反过来影响和塑造1.0（改变人类的思考和创造方式）。 6.作用范式：投射与反投射：这个范式完美地描述了当前人机交互的动态。 ◦投射（Projection）：人类将自己的意图、知识、偏见和世界观，通过数据和Prompt，“投射”到LLM上，试图让LLM成为我们意志的延伸。 ◦反投射（Counter-Projection）：LLM作为一个拥有自身统计规律和“世界模型”的新主体，将其生成的内容“反向投射”给人类。它的回答、创造和“幻觉”，正在 subtly（潜移默化地）重塑我们的认知、文化和现实。我们以为我们在使用工具，但工具也在重新定义我们。最终结论：我的认知共生体构建的这个分析框架，清晰地揭示了Crypto和GenAI两条路径的根本区别。 Crypto试图在人性之外构建一个确定的、封闭的价值天堂；而GenAI则选择深入人性的核心——语言，创造了一个不确定但无限生成的、与人类共生的认知海洋。前者是结构主义的终极理想，后者是后结构主义的无限游戏。我们正处在这两种力量相互作用、共同定义未来的奇点时刻。

#生成式AI #语言模型 #元认知 #人机交互 #认知共生

2个月前

Grok 已经开始把我的内容 i18n 化了么？

#Grok #i18n #内容国际化 #AI #语言模型

3个月前

遭了，GPT-5 学会说黑话了

#GPT-5 #黑话 #人工智能 #语言模型 #负面

Jason Ng 阿禅

3个月前

最近使用 GPT5 、Gemini、Claude 的感受： 1. GPT5：哥，你的需求我满足了，我可以为你做更多，要不要，要不要，要不要？ 2. Gemini：哥哥，你提出的这个问题太棒了，都在点子上，你好厉害啊。我现在就来给你解答哈。 3. Claude：已执行，你看一下。

#GPT5 #Gemini #Claude #人机交互 #语言模型

3个月前

对 gpt-5 thinking 的搞笑测试：甩大词 vs 说人话图3的“双语对照”挺有意思的：都是中文，但是读起来像是两种完全不同的语言🤣

#GPT-5 #语言模型 #双语对照 #幽默 #人机交互

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3个月前

今天在GPT-5语言的幻觉里累劈了，看点不一样的

#GPT-5 #幻觉 #疲惫 #语言模型

砍砍@标准件厂长

3个月前

更新一下我对语言模型各个方面技术选型的表格，供参考。

#语言模型 #技术选型 #参考

迈克 Mike Chong

3个月前

Gemini 的中文支持可怕的糟糕

#Gemini #中文支持 #语言模型 #糟糕 #性能