#模型部署

ilovelife

3周前

#网友提问如何学习上手大模型？有网友提问：大家都在讲大模型，但是怎么和自己工作结合起来呢？比如ollama，vllm，sglang使用，调整，打成镜像在任意GPU平台运行等等一系列，发现起手式都搞不定，迷茫🤣

#大模型学习 #模型调试 #模型部署 #GPU平台

Yadong Xie

5个月前

在上用一天时间复现了openai operator，其实 7B 的开源模型就可以做到非常不错的效果模型部署：Lepton AI SDK：midscean.js 模型：UI-TARS-7B-SFT 有兴趣的人多的话，这两天会写一篇教程

#AI开源模型 #OpenAI Operator #模型部署 #Lepton AI #开源项目 #技术教程