#vulkan

陈少举（🦣 @[email protected] ）

1个月前

感觉DeepSeek-OCR还是不稳定，不知道是3b模型太小了，还是Ollama有问题，或者Vulkan支持有问题。🤔

深度学习模型升级引发AI能力大跃进，行业迎新变革· 143 条信息

#DeepSeek-OCR #不稳定 #3B模型 #Ollama #vulkan

陈少举（🦣 @[email protected] ）

1个月前

Ollama从0.12.11开始已经支持AMD显卡（Vulkan）。下载了0.13.0版本的Ollama，找了一篇彭博的文章进行总结和分析，用Qwen3 14b在9070上进行了测试，速度为50Token/s。由于支持还是实验性质的，需要在启动 Ollama 服务前添加 OLLAMA_VULKAN=1 环境变量。 ref:

#Ollama #AMD显卡 #vulkan #Qwen3 14b #50Token/s

3个月前

才发现termux官方仓库已经上架了llama.cpp的vulkan后端，不需要编译可以直接用，顺手整理了篇在手机上用vulkan加速推理llm的教程参考

#termux #llama.cpp #vulkan #LLM #手机