#自然语言

avatar
最近范老师对于LLM在自然语言能力与形式语言能力的现象观察着迷，这一能力似乎不能在一个Transformer模型内并存，这如我们人类相似，一个伟大的程序员也不能写出优美的诗句：😍 一是像Anthropic在code方向突飞猛进，在Claude3.7以后更是激进，我们看到的是编程coding能力更强了，尤其是结合claude code cli工具，但是claude 4在自然语言写作方面明显退化了，我个人的感受是现在都不怎么用claude来写作了。同时Anthropic在LLM可解释性方向组建了一个AI精神病研究小组。 二是Google DeepMind在用AI参加IMO数学竞赛的方式上的变化：imo24上还用纯强化学习的alpha geometry 和lean这种形式语言工具来解题，到了imo25则直接用gemini pro deepthink版本直接获得了金牌。似乎是用内化了形式语言能力的LLM自然语言能力。 三则是OpenAI，The Infomation在GPT-5发布之前爆料说，o3在形式语言推理能力上非常突出，但用于chatbot一般对话中似乎很明显的感受到变笨降智了。 前两天发布的GPT-5中增加了个router层，似乎想解决LLM在交互中的自然语言能力与形式语言能力的无感切换问题，不过通过发布后用户反馈，似乎切换并不顺利，OpenAI正在修复router的问题以及重新提供gpt-4o等旧版本模型选项。 以上这一系列现象观察，背后反映了怎样的问题？与前面我们讨论的人类对于自然语言形式语言的能力运用有何本质联系？
#LLM能力 #范老师观察 #自然语言 #形式语言 #模型退化
avatar
这个数字世界是形式语言的，最终还是自然语言的； 写在GPT-5发布前夕，就看Altman有没有忽悠我们了…
#GPT-5 #Altman #自然语言 #形式语言 #技术预测
avatar
AGI 可能在不知不觉中已经到来： 当大部分人还沉迷在手机屏幕展示的算法里的时候，自然语言驱动的LLM已经内化形式语言（编程、数学等）逻辑工具拿到了奥数金牌。
#AGI #LLM #自然语言 #形式语言 #奥数
avatar
Augment原来可以通过自然语言让它记住一些规则。 还是第一次发现。 原以为只能通过规则和Markdown文件记录。
#augment #自然语言 #规则 #知识记录
avatar
形式语言的不完备性和自然语言的开放性意味着什么？ 哥德尔定理揭示了形式逻辑的极限，自然语言则演化出一种不求完备但极具适应力的生成机制，这恰恰体现了人类语言作为生存智能的一种深层本质。
#哥德尔定理 #形式语言 #自然语言 #不完备性 #开放性
avatar
这个必须转：Sakana AI的关键工作。 Text-to-LoRA抽象了微调的复杂性，将核心技能从数据工程转向简洁的任务描述。这是模型专业化民主化的重大飞跃，使非技术专家能够使用自然语言创建定制适配器。
#Sakana AI #Text-to-LoRA #微调 #模型专业化 #自然语言 #定制适配器 #数据工程 #民主化
avatar
自然语言不可替代， 并且我认为， 我们将会越来越多地使用自然语言， 而不是很明显是Chat GPT生出来的人机语言。
#自然语言 #人机交流 #Chat GPT
avatar
Ehco
2个月前
一方面震惊于居然现在已经有人这么用 cursor 写代码了 另一方面又在想可能真的某一天之后,编程语言这种人和机器交互的中间语言会被自然语言彻底替代掉 希望那一天到来之后是人类生产力的进一步解放,让我们有更多时间和能力去做更有意思的事情,而不是 大.内.卷 时代的来临
#cursor写代码 #编程语言 #自然语言 #人类生产力 #内卷
avatar
响马
4个月前
自然语言只适合描述浅显且不清晰的需求，否则这几十年就不会发展出编程语言了。
#自然语言 #编程语言 #需求描述 #技术发展