利用好LLM 的prefix特性,用小模型先回复,然后大模型续上,LLM 首句延迟可以大幅降低到100ms级别。 今天vibe coding 的成果之一:
𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
12小时前
王亚力背后应该有个超级LLM在帮忙吧? 真是会用AI的人终将统治这个世界!
lidang 立党 (全网劝人卖房、劝人学CS、劝人买SP500和NASDAQ100第一人)
18小时前
我认为,这个时代的AI-native generation(AI原住民)应该做到以下几点: 1. 日常模模糊糊地关注各家厂商的LLM model,像旧时代关注手机和汽车评测的人们一样,看看发布会,看看benchmark,第一时间迫不及待地上手用一用; 2. 脑海中模模糊糊有信息论的观念,知道LLM不是算卦,不会指望万事万物让LLM 给一个标准答案,而是对prompt engineering有个