#性能

BadUncle
3个月前
RAG 向量 实时搜索大混战,cursor cline windsurf aider claude code大比拼 第一组:完全抛弃RAG的实时搜索派 Cline 和 Claude Code 相似点:都完全放弃了传统的RAG方法,采用实时动态搜索 区别: - Cline使用ripgrep等文件系统工具进行正则搜索,模拟人类开发者的代码探索方式 - Claude Code使用”agentic search”,通过grep、glob等标准开发工具,由AI模型动态编排多轮搜索 第二组:基于图结构的智能索引派 Aider 独树一帜 使用AST+图结构,将代码文件作为节点,依赖关系作为边,通过自定义排名算法(不是PageRank)优化代码映射 第三组:混合RAG+高级技术派 Cursor 和 Windsurf 相似点:都使用embeddings向量化+RAG,但加入了很多高级技术 区别: - Cursor:使用OpenAI的embedding模型+TurboPuffer向量数据库,实验DSI技术,支持云端分布式架构 - Windsurf:使用”M-Query技术”+本地/远程混合索引,专注企业级部署,有Cascade代理系统 技术路线的哲学差异 实时派(Cline/Claude Code)认为准确性和实时性比效率更重要,愿意用更高的token消耗换取完美的代码同步。 图结构派(Aider)把代码理解当作图优化问题而非语义相似性问题,在结构化理解方面表现出色。 混合派(Cursor/Windsurf)试图在效率和准确性之间找平衡,通过技术创新提升传统RAG的性能。 性能特点对比 Aider:token使用最少(1-8K),线性扩展,但无法理解运行时行为 Cline:数据完全同步,但token消耗较高,依赖文件系统性能 Cursor:查询响应快,处理大代码库好,但有embedding模型限制 Windsurf:延迟极低,内存使用高效,但需要大量初始索引时间 Claude Code:准确度最高,无需维护索引,但成本极高(有用户每天消费数千美元) 总的来说,业界正在从静态预索引向动态、探索性系统转变,你的记忆是对的 - Aider确实使用AST,但用的是图算法而不是PageRank;Claude Code确实不用RAG,直接用grep等工具进行搜索。
fin
4个月前
今年在一家小几百人startup做芯片,还是有些感慨的 芯片拼到最后就是拼能耗比,这是一级指标,真的是靠堆海量的人力去针对每种workload调试每一点power和performance,人不够就是会有差距,startup对于power和performance的要求要低太多了,只要大差不差就行,能把功能实现出来就是成功 startup跟大厂比,除了关键地方的IP,很多地方就是买现成IP拼凑起来,导致基本上一个人要覆盖大厂三个组的scope,广度上去了精度自然就不够 startup调硬件performance经常没人关心,因为软件FW/compiler太多可以优化的地方了,随便多花点时间得到的收益都比调芯片性能要效率更高 性能只要和当初架构设计的差不多就行,而在架构设计的时候就已经考虑到最后的能耗比等一系列指标了,但考虑到最后的实施,其实就算是带宽和算力指标定的和Nvidia一样,功耗目标也是高出了50%以上,只能靠compiler优化特定的benchmark workload。除非是架构及其特殊,能在特定的workload上从架构上决定能耗比 在大厂呆久了,再去startup就会觉得大厂很多职位就是雕花,投入产出比其实很低,但这些雕花位置又不能砍了,毕竟芯片最后的能耗比有不少提升就是靠这样的微调工作量累积起来的 想起了前几年,当红炸子鸡Nuvia带着苹果CPU架构的所有秘密被Qualcomm收购时候,如果按照标准startup做法,采购ARM公版的interconnected,cache和memory,那Nuvia CPU跑分起码要降10%以上,跟Apple CPU的差距就直接断代了(单核)。也正是有了Qcom的SoC infrastructure支撑,才有了Nuvia第一代CPU在苹果M3/M4出来之前短暂的王朝 芯片startup要能生存,只能靠错位竞争,要么是一个细分市场,要成为明星就得做大公司短期抽不出资源做的一些方向。不然的话芯片大厂的资源起码能在硬件性能上有人力优势去调试的 Nvidia Blackwell Ultra和Vera Rubin的发布,指标上步子迈的这么大,一年一代节奏,看来是希望用 “时间+人力+生态” 形成 IP 壁垒,其实是不利于新晋startup追赶的,要在指标上把东西做出来的难度,真的是越来越大,已经实质上有点堆人力的意思。MTIA/Annapurna lab直接靠对标算力指标来追赶,迟早会翻车(做不出来或者延期) 说到堆人力,Nvidia最近招人力度又开始加大,我两周之内甚至接到了三个不同Nvidia HR的招呼,互联网公司几百人的小作坊也在快速扩张招人来应对,Google TPU组这两年在以色列和印度扩张非常可观,基本是奔着翻倍去的,Meta的MTIA今年大扩招也是奔着50~100%扩张 ------------------------------------ 从芯片设计来看,即便是o3如此强大的AI再发展下去,离自己设计芯片,来取代芯片工程师的职位,仍然很遥远,o3o4o5的进步是10分到50分的事情,而现在的芯片早就进化到堆人力从90分往95分逼近了 当然了,半导体行业广泛采用claude3.7/o3级别的AI,确实也是有帮助的,我这两个月用AI提升的效率,我觉得已经稳稳有20%+的水准了 不用纠结o6o7o8能不能自己设计芯片,因为只要人+AI有更好的效果就行 AGI摆脱工具定义的标准,是人+AI有没有比AI产出更高 只要没有达到这个标准,那么AI仍然是工具属性 可预见的未来内,我看不到AGI摆脱工具定义的可能 ---------------------------------- 最近几个月都是一周80+小时工作,差不多快是人间蒸发的节奏,思考人生的时间都不够用了,追热点都是有代价的,生活不易,猫猫叹气.jpg