johann.GPT

统计数据

7

文章

0

粉丝

0

获赞

45

阅读

1个月前

趁着假期终于把《智能简史（A Brief History of Intelligence）》看完了，还挺推荐的。书中有一个很有意思的事情： 80年代的时候，Richard Sutton发明了TD算法（时序差分算法），用来做强化学习。差不多同时期，神经科学家Wolfram Schultz在研究猴子大脑的多巴胺神经元。一开始这俩完全是独立进行的，谁也不知道对方在干嘛。直到1996年，Montague他们几个人把两边的数据一对比，发现多巴胺神经元的活动曲线，跟TD算法计算出来的误差曲线，基本一模一样！换句话说，进化用了几亿年在动物大脑里"写"出来的代码，跟我们人类花几十年想出来的算法，解决问题的底层逻辑是一样的，所以，是不是可以猜测智能的本质，可能真的有某种普遍规律。

#智能简史 #Richard Sutton #TD算法 #多巴胺神经元 #智能本质

1个月前

Anthropic 这个文章，挺有意思的，很久之前其实我们就在讨论什么才是 AI Native，在我们对比 Cursor 和 Cline 的做法的时候，我们发现 Cline 从一开的做法，就是和 Anthropic 是一致的。以前模型能力不行，我们要在 prompt 里写死每一步："先做 A，再做 B，然后做 C"；现在模型更聪明了，我们只需要说"这是你的目标，这些是你的工具，自己看着办"，让 Agent 自主决策。里面的关键是做好四件事：写清晰的 prompt、设计高效的工具、用即时检索代替预加载、管理好有限的 context 窗口（通过压缩、笔记或拆分 sub agent 等方式）。

#多智能体之争：Anthropic生态VS单智能体· 77 条信息

#AI native #Anthropic #Agent自主决策 #prompt设计 #Context窗口管理

4个月前

bentoml 推出《LLM Inference Handbook》一份专为开发者打造的技术手册，用于汇总和梳理大语言模型推理（LLM inference）在生产环境中的最佳实践与优化思路。包含如何实际部署、扩展和运维 LLM、性能指标、优化技巧和最新的社区经验，非常适合需要让大模型推理更快、更省、更稳定的工程师。

4个月前

这个文章对 Context Engineering 的解释非常具体详细： Context Engineering是prompt engineering的升级版，不仅设计提示词，更要构建AI系统的完整信息环境。核心包括：system prompt设计、结构化输入输出、tool calling、RAG检索、state管理等。文章以研究规划agent为例，展示了如何从简单指令扩展到包含时间context、输出格式、字段定义的完整系统。Context engineer需要系统思维，精确定义每个组件，动态管理变化因素，持续优化效果。这已成为AI开发的关键技能。

4个月前

最近研究 RAG 多了，很少关注微调，今儿看到一个不错的指南文章，分享一下对 LoRA 和 QLoRA 的理解： LoRA 通过分解权重更新矩阵为小矩阵来高效微调，大幅降低计算资源需求。QLoRA 在此基础上引入 4-bit 量化，结合高精度计算和低精度存储，进一步优化内存使用。两者都能在保持模型性能的同时显著降低训练成本。特别有趣的是 QLoRA 的量化感知训练机制，通过 LoRA 适配器来补偿量化误差，实现了性能和效率的完美平衡。这些技术让企业能够更经济地部署定制化模型，是 LLM 落地的重要工具。 #AI #LLM #MachineLearning

#LoRA #QLoRA #微调 #模型压缩 #自然语言处理

5个月前

Cursor 的 Apply 如何实现每秒 1000 tokens 的文件编辑？比 Cline 、vscode 等快不止一点。（多图展示）核心突破：Speculative Edits 算法具体实现机制： • 输入：当前文件内容 + 用户对话历史 + 目标代码块 • 处理：70B 参数的专门训练模型一次性生成完整重写文件 • 关键：不生成 diff，直接输出新文件内容技术原理：利用代码语法的高度结构化特性，算法可以预测接下来的函数括号、缩进、变量名等 1/3 🧵

#Cursor #Apply #文件编辑 #Cline #VsCode #Speculative Edits #算法

5个月前

Cursor 是如何用 Merkle 树 + RAG 实现快速索引代码库？ 💡 核心思路： 1️⃣ 本地用 AST 分割代码 → 构建 Merkle 树"指纹" 2️⃣ 只同步变更文件（增量更新，节省 90%+ 带宽） 3️⃣ 代码块 → Embedding 向量 → Turbopuffer 向量数据库 4️⃣ 用户提问 → 语义搜索 → 本地读取源码 → LLM 生成答案 🛡️ 隐私保护：源代码永远不离开本地，只有向量上传云端 ⚡ 效率爆表：Merkle 树让大型代码库秒级同步 🧠 智能理解：用 RAG 检索

#Merkle树 #代码索引 #RAG #LLM #隐私保护 #语义搜索