才发现termux官方仓库已经上架了llama.cpp的vulkan后端，不需要编译可以直接用，顺手整理了篇在手机上用vulkan加速推理llm的教程参考

#termux #llama.cpp #vulkan #LLM #手机

相关新闻

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

47分钟前

见所未见，LLM的这种能力来自语言的超模态通感？

Barret李靖

6小时前

Attention is all you need，顺着历史脉络去看 Transformer 自注意力机制的发展，还经历了Bag-of-Words、Word2vec、RNN、Attention 等概念的演进。《图解大模型》把 LLM 的内部原理，包括预训练、微调、语言模型的应用和优化等，一步步做了图解分析，写得挺不错👍

meng shao

6小时前

[YC AI Startup School 经典重温] Andrej Karpathy：软件，再次，变革！假期做什么？除了带孩子，当然是重温经典视频了，AK 在三个月前 YC AI Startup School 上对「软件在 AI 时代的变化」的演讲必须值得反复观看学习。作为 Stanford、OpenAI 和 Tesla 的资深研究者，他将当前 AI 浪潮比作软件发展的第三个重大跃迁——从

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

12小时前

一个LLM知道“什么是火”，但一个“有状态”的Agent应该“记得自己上次被烫伤的经历”。

Barret李靖

12小时前

LLM 出来之后，在应用层的折腾从未停歇。从 Prompt 调优到 Workflow 配置，再到 Agent 构建，最终目的都是一样的：让 LLM 更好地为人类干活，把机器的性能压榨到极致。对 LLM 的压榨，可以分为两个维度。一是帮助它找到最优算法，让推理少走弯路。为此我们几乎把能想到的路子都走了一遍，让 LLM 学会反思（reflection、self-consistency、self