howie.serious

统计数据

353

文章

0

粉丝

0

获赞

2792

阅读

1个月前

对比下两种不同的说法： 1）书，在未来会成为“embedding化的智能副本” 2）“把这本书RAG一下” 更具体一点，多说一句话来解释：把一本书的文本切块，处理成高维向量（embedding）后放进向量数据库（vector DB）；读者可以直接对书（的embedding）提问，用相似度算法把最相关段落检索出来，然后llm基于这本书的内容来回答读者问题。简称为“RAG”。

#Embedding #RAG #向量数据库 #LLM #文本处理

1个月前

llm幻觉的分类、根本原因与解决方案｜openai 最新blog 《Why language models hallucinate》 === 信心满满张嘴就来、一本正经胡说八道，人类如此嘲讽llm的“幻觉” (Hallucination) 。（其实，人类自己在这方面也相当不差🤣）作为用户，以及有大量学习经验的人类学习者，我们可以根据实际经验，把 llm 幻觉大致分为两种：一种是预训练阶段，llm学习并记住了错误的知识，然后把错误信息当作正确知识，用于回答中（人也一样）；第二种是guessing，而不是直接说“我不知道”，或者给出多种可能性的不确定回答（人也一样）。 openai 分享了对llm幻觉的研究。llm 幻觉的根本原因，不只是模型本身，而在两个地方：一个是llm的预训练阶段，数据局限性导致的幻觉；llm通过学习海量文本来“预测下一个词”，对于有规律的模式（语法、编程、通用知识），llm可以学得很好；但是，对于低频的事实（例如，路人甲xxx的宠物狗的生日），这些信息在训练数据中无规律可循，导致了llm的第一种幻觉；另一个是以准确率得分为主的评估机制（accuracy-based evals），错误地奖励 llm的“战略性猜测”/瞎猜行为，错误地惩罚llm 放弃回答/“我不知道”的行为，这导致了第二种幻觉； gpt-5 的一大提升，就是在消除llm幻觉上。gpt-5，学会了“谦卑”，某种意义上体现了某种程度的“元认知”：减少了“战略性猜测”行为，而选择“放弃”，直接说自己不知道。这篇文章很有趣，值得读一读~~

#LLM幻觉 #OpenAI #GPT-5 #预训练数据局限性 #战略性猜测

1个月前

对于成长在ai时代的孩子 🐣，父母如何选择“家教风格”，至关重要。那么，你选择哪种家教风格？

#AI时代 #家庭教育 #家教风格 #育儿 #积极

1个月前

AI时代，人类写作越来越重要。好的写作，本质就是好的思考。

#AI时代 #人类写作 #重要性 #好的思考 #本质

1个月前

今天，和llm 老师们聊的一个话题： > 人类是低熵体？如何理解“低熵体”？非常有趣。三人行必有我师；三大llm，更有可学的啦。

#LLM老师 #低熵体 #三人行必有我师 #知识学习 #积极

1个月前

和10岁小学生二人晚餐，期间一直和聊“与动物有关的成语”，相谈甚欢。还可以教小学生用咒语召唤一下quizgpt，自己考一下自己🤣

#亲子互动 #动物成语 #小学生 #趣味学习 #晚餐

1个月前

订阅 chatgpt pro 的第 8 个月，仍然觉得值。

#ChatGPT Pro #订阅 #体验 #积极 #值

1个月前

同一个问题，多个llm一起讨论，加上用户自己，凑一桌～

#多智能体之争：Anthropic生态VS单智能体· 62 条信息

#llm讨论 #用户参与 #多人协作 #问题解决 #技术交流

1个月前

中国的很多初中高中，“只筛选不培养”，背后的理论基础就是这种王八蛋理论。可悲的是，这种王八蛋理论还很流行 🤣

#教育 #筛选 #应试教育 #负面 #中国

1个月前

openai 会在几个月内推出 chatgpt “家长控制”功能。家长账户可以关联未成年账户，管理适合年龄的内容、禁用特定功能。 chatgpt 在对话中检测到青少年可能需要帮助（抑郁、自杀等问题）时，会通知父母。 --- 对于成年人来说，chatgpt 是可以提供一定的心理支持的。但是，对于未成年人，因为心智不成熟，在ai对话后未成年人选择自杀的事情也逐渐出现。最好的“科技向善”，就是做好“家长控制”功能，让科技提供的支持力量，和家庭、父母、朋友提供的情感支持力量形成合力。等chatgpt的家长控制功能出来后，我考虑给小学生单独一个美区id，单独开一个chatgpt账户来测试测试（目前和她妈妈共用一个plus账户）🤣 --- 一个小观察：中国互联网公司，没有一家真的原意去做一个“家长控制”功能。包括微信、微信读书这种级别的产品。我给小学生试过，简直就是恶心人，根本就不能用。完全是“糊弄学”，为了满足上面的要求。其实，他们只需要用一周时间，copy一个苹果或google的parental control就可以。但他们偏偏不，就是要做一个恶心你的版本。考虑到他们在其他方面的聪明程度，我只能说这不可能是无意的行为。这些科技巨头在做“家长控制”时的心理活动 be like： > 你不是要未成年模式吗？要家长控制功能吗？我给你，我给你一坨屎。用去吧你！这就是中国科技公司对儿童的态度。真他妈的恶心。

#ChatGPT #家长控制 #未成年人保护 #科技向善 #中国互联网公司

1个月前

大概用了2年logseq，8500个知识砖块，23000个联结。平均每个知识砖块有2.7个联结，平均每天新增加30个左右联结。 === 如果有且只有一条评价标准的话：ai时代的全新学习，绝不在于大脑存储知识的多少，而在于大脑中有效联结的数量。可以提一个概念：刻意联结（deliberate connecting）。学习每个新知识时，都要主动去关联已知，不断在自己的知识框架上，用新知联结已知，用陌生联结熟悉，用复杂联结简单，用抽象联结具体…… 这一点非常重要。我认为，在logseq中建立以概念（知识砖块）为单位的笔记，然后，用wikilink在笔记之间建立大量的联结。这是“刻意联结”的最佳方式。 logseq的优势，就是建立知识之间的联结。一方面是颗粒度极佳（概念、idea、思维模型等知识砖块，对应一条笔记），另一方面，是建立联结极其方便，非常容易形成习惯。

#Logseq #知识联结 #刻意联结 #AI学习 #知识管理

1个月前

gpt-5 thinking 的省时省力案例：对于自己不熟悉的问题（这里是朋友之前帮我开了awz账户，设置了lightsail服务器。我自己不熟悉），只要描述清楚问题，然后，one-shot，gpt-5 thinking 帮你搞定～

OpenAI GPT-5发布引发用户不满，阿尔特曼回应质疑· 115 条信息

#GPT-5 #省时省力 #云计算 #技术支持 #积极

1个月前

10岁小学生问我：《三国演义》和《西游记》，你觉得哪本写的更好？我们一致认为，西游记更好。我的理由是故事更有趣，更搞笑幽默，百看不厌。小学生的理由是里面有很多景物描写，描写的特别好🤣 暑假里，小学生读了1遍西游记，3遍三国（通读+挑选精彩故事重读），还看了不少相关书籍。最后竟然落脚点是景物描写，哈哈这个脑回路。太抽象了，所以是真实世界。

#西游记 #小学生 #阅读 #景物描写 #幽默

1个月前

☠️ 对学习者而言，最危险的思维方式是什么？为什么“僵化/固定思维”是最危险的思维方式？学霸既不是“生出来”的，也不是被别人“灌出来”的；他们是被长期、稳定、科学的学习过程“养出来”的，更是被自己一点点“养出来”的。僵化思维，把智能视为某种固定状态的各类思维方式（天赋论、智商论），就是最危险的思维方式。

#僵化思维 #固定思维 #学习方法 #思维模式 #天赋论

1个月前

浪费时间是教育上最大的罪恶。哲学家怀特海的观点，我深以为然。大家应该也感同身受：低效的、无意义地灌输死的知识，耗费了学生太多的时间。教育不应让学生陷入盲目的内卷竞赛，而应回归真正有意义的创造与成长。所以，能打败应试教培、教育内卷的，唯有科学学习，唯有让学习从机械变得有意义，从低效变得高效。如果课内要求不高效搞定，玩耍、读书和其他丰富模式学习就很难长期落地。单单喊口号（快乐教育、丹麦式教育、他乡的教育），好听而已，一点问题也不解决。所以，昨天我做了一场用chatgpt+logseq提高学习效率效果的专题直播。现在，干货笔记来了。（内附古诗词解读、读书报告deep research、quizgpt 、study mode的相关prompt ）

#教育 #学习效率 #ChatGPT #Logseq #应试教育

1个月前

在任何理解之前，必须有表达；在任何表达之前，必须有重要性感受。 Before there can be understanding, there must be expression. Before there can be expression, there must be a feeling of importance. 这句话是哲学家怀特海（whitehead）说的。深以为然：前半句是 #费曼式学习的理念；后半句是“ #内驱式学习 ”的理念。真正的学习，一定从情感驱动开始，经由表达的过程，最终达成深层次的理解和创造性运用。

#费曼式学习 #内驱式学习 #情感驱动 #表达 #深层次理解

1个月前

chatgpt/llm流行之后，人类说话的“ai味”越来越重。具体一点，就是“大词”越来越多🤣 一方面我们能观察到，尤其是推特上，尤其是最近一年；另一方面，有学术研究和论文为证启示？或许，我们应该少用一些大词，尝试恢复说人话、简单表达的习惯。其次，“甩大词”始于o1等推理模型，在deepseek-R1上达到巅峰，在人类领域常见于得到系及其信徒。但本质上，都是强化学习、过度贴合奖励函数（流量？注意力？）导致的。大词，可以少甩一点。对论文的中文翻译解读👇

#ChatGPT #LLM #大词 #AI味 #人类语言

1个月前

一年500万字的阅读量差距，对孩子来说，到底意味着什么？ === 信息输入的数量和质量决定了起点的语言与世界模型；持续阅读带来的知识储备决定了中途的吸收与迁移；累计的推理数量决定了终局的速度与深度。三者彼此强化，最后看上去像“差距是天生的”。其实不是。是环境与时间，一起写下来的。

#阅读量 #儿童教育 #知识储备 #环境影响 #长期积累

1个月前

似乎，今天大家都在“用嘴ps” 🤣

#用嘴ps #幽默 #社交媒体 #表情符号 #网络文化

1个月前

很多人没意识到：有了chatgpt 学习模式这等神器，学习的效率效果可以有10倍提升小学生得在暑假里背诵原本小学6年要背的75首古诗词，怎么办？🤣 马上就要开学了。5年级的新班主任非常“负责”，暑假布置的xx项作业中有一项叫“小学生必背古诗文75首”，要求会背会写会理解，开学就要检查（这只是其中一项😭）我看了一下，原来这75首古诗是教育部2022版新课标的推荐背诵篇目。部分在课本里，不少是小学生没学过的。我承接了这个光荣而艰巨的任务，帮助小学生“临时抱佛脚”。这个过程中，产生了很多可能很有价值的学习技巧、经验和思考，与你分享～ === 🎙️ AI study mode 专题直播，明天晚上见～用一个真实案例，展示chatgpt+logseq学习神器：打通了logseq 及其flashcards功能、chatgpt及其study mode、deep research、quizgpt功能

#ChatGPT #学习模式 #古诗词 #小学 #教育

1个月前

andrej karpathy 提出了 vibe coding 这个概念，但是他并没有说不愿意 vibe 的软件工程师马上就要完蛋。同理，我们讨论 vibe writing，也不会说不愿意 vibe 的传统写作者马上就要完蛋。技术/工具层面的讨论，目的是思想碰撞，是交流，追求的是真理、真相。但媒体层面的设置议题（xx太牛逼，yy要完蛋），完全是另一回事，甚至可能只是一种流量技巧。屡试不爽，没有风险，争议越大越成功。

#Vibe Coding #技术讨论 #媒体议题 #流量技巧 #Andrej Karpathy

1个月前

我来泄露一个高价值经验 🤣：一个小技巧，让gpt模型免受历史信息的context干扰。 === 你是否遇到过：曾经很好用的模型，输出忽然“不对”了？一个原因：memory功能的干扰。（memory当然是一个非常好的功能，带来很多便利。但是，有时候也会造成麻烦：例如，如果你的需求是context-free的，不应该参考历史对话等memory，这种情况下，反而会影响输出质量）举例，我用gpt-4.5时，有时候明显感觉和以前的不一样。是openai改了参数，换了模型吗？并不是，只是memory引入的问题而已。如何解决？以前没办法解决。但是，现在有了project memory（与chatgpt的系统级memory隔离），就很简单：建立一个单独的project，开启project memory，这样，你就可以使用不受历史记忆干扰的纯净模型了🤣

#GPT模型 #memory干扰 #context-free #project memory #纯净模型

1个月前

我来泄露一个高价值经验 🤣：让gpt-4.5再次伟大你是否遇到过：曾经很好用的模型，输出忽然“不对”了？一个原因：memory功能的干扰。（memory当然是一个非常好的功能，带来很多便利。但是，有时候也会造成麻烦：例如，如果你的需求是context-free的，不应该参考历史对话等memory，这种情况下，反而会影响输出质量）举例，我用gpt-4.5时，有时候明显感觉和以前的不一样。是openai改了参数，换了模型吗？并不是，只是memory引入的问题而已。如何解决？以前没办法解决。但是，现在有了project memory（与chatgpt的系统级memory隔离），就很简单：建立一个单独的project，开启project memory，这样，你就可以使用不受历史记忆干扰的纯净模型了🤣

#GPT-4.5 #memory功能干扰 #project memory #模型输出质量 #context-free需求

1个月前

一个人不是天生对知识冷漠，而是长期被限制在单一、孤立的环境中，失去了与人和世界建立联系的机会。对学习的兴趣，并非神秘的天赋，而是熟悉与意义感的产物。

#知识冷漠 #环境限制 #学习兴趣 #熟悉与意义感 #失去联系

1个月前

陆地节肢动物 🤢 海洋节肢动物 😋

#陆地节肢动物 🤢 #海洋节肢动物 😋