#本地部署

karminski-牙医

1周前

Qwen3-Next-80B-A3B 目前社区呼声非常高，由于激活参数非常小，因此本地部署运行效果非常不错。并且工具调用性能也可以。但是！Qwen 这次没有给 llama.cpp 提供支持，估计社区从头实现这个新架构至少要几周时间。我估计 Qwen 也没想到会这么受欢迎，因此只适配了 MLX。建议官方赶紧适配下 llama.cpp 毕竟这是个新架构，未来还会基于这个架构推出新模型。早晚要适配的。

#Qwen3-Next-80B #本地部署 #llama.cpp不支持 #社区呼声高 #工具调用性能

2周前

接下来住处稳定之后我计划尝试一个类似钢铁侠的方案把家里装满摄像头和麦克风，打造一个智能化的生活环境设想是每 24 小时将收集到的数据存储在家里的本地服务器或者 NAS 中，形成一个专属的知识库。完全使用本地部署，解决隐私问题这样当我和 AI 对话时，它就可以实时调用这些数据，给我提供更加智能化的服务比如我可以告诉 AI 我最近哪里不舒服，它会马上分析我过去一个月的生活习惯：每天几点睡觉、几点起床、晚上上厕所的次数等它可以监听我的所有对话，帮我记住重要的事情。比如如果我忘了某件事或者约好了跟谁吃饭，它会主动提醒我我认为现在的 AI 已经足够聪明，但它的缺陷在于没有掌握足够多的关于我的数据，也就是说上下文信息不足通过在家里装满智能设备，我可以解决这个问题

#智能家居 #隐私保护 #AI助手 #生活习惯分析 #本地部署

3周前

在 GitHub 发现一个有意思的项目，AI 自动量化交易机器人 UFund-Me/Qbot，完全本地部署, 文档描述 Qbot = 智能交易策略 + 回测系统 + 自动化量化交易 + 可视化分析工具的方式，虽然 UI 一般般，但后端思路其实挺值得学习的。

#GitHub #AI量化交易机器人 #UFund-Me/Qbot #本地部署 #智能交易策略

3周前

这个更6，无需获取个人 token，部署后即可使用四个模型，测试聊天响应非常迅速，完全满足使用需求。支持配合 claude-code-router 使用 Claude Code，不过我就本地搭建聊天用用，还挺方便。

AI编程工具激战：Claude Code、Gemini Cli崛起· 900 条信息

#快速响应 #本地部署 #聊天模型 #claude-code-router #便捷

1个月前

#OpenAI 发布开放权重模型 GPT-OSS-120B 和 GPT-OSS-20B，模型能力媲美 o4-mini 和 o3-mini。这些推理思维链模型可以在本地使用，例如在 M4 MacBook 上采用 20B 版甚至可以每秒输出 30~40tokens，高通也证实这些模型可以在搭载高通骁龙芯片的设备上使用。查看全文：

MiniMax M1发布：开源长上下文推理模型引发AI领域震动· 10 条信息

#OpenAI #GPT-OSS-120B #GPT-OSS-20B #本地部署 #高通骁龙芯片

2个月前

新视频上线——实测智谱 GLM-4.5，本地部署 GLM-4.5-Air 及构建 AI 应用时间戳 00:00 - GLM-4.5 初体验：性能、价格与API限制 01:20 - AI能力实测 05:53 - 本地化部署 GLM-4.5-Air 07:34 - 构建 AI 应用（AI SDK + LM Studio） 11:15 - 思考：如何选择适合你的AI模型完整视频：🧵

#智谱 GLM-4.5 #AI模型评测 #本地部署 #AI应用构建 #LM Studio

𝘁𝗮𝗿𝗲𝘀𝗸𝘆

2个月前

#AI 请问 Claude Code 中转代理池的原理是什么？是不是可以本地搭一个给国内的朋友用？

AI编程工具激战：Claude Code、Gemini Cli崛起· 900 条信息

#AI #Claude Code #中转代理池 #本地部署 #技术原理

3个月前

local-ai-packaged 是一个开源的本地 AI 开发环境模板，通过 Docker Compose 集成了多种主流工具，包括 n8n、Supabase、Ollama、Open WebUI、Flowise、Qdrant、Neo4j 和 SearXNG 等。用户可以通过该项目一键部署本地大型语言模型（LLM）、AI 代理和检索增强生成（RAG）等应用。n8n 负责自动化和工作流编排，Supabase 和 Qdrant 提供数据及向量数据库支持，Ollama 实现本地 LLM 推理。Neo4j 用于知识图谱场景，SearXNG 可以作为隐私友好的搜索引擎。 Open WebUI 和 Flowise 提供方便的可视化界面，用于与 LLM 和 AI 工作流交互，简化了应用开发和使用体验。所有组件均在本地部署，保障了数据隐私和自主控制，适合开发、测试和个性化扩展。详细内容和部署方法见项目仓库：

#开源 #AI开发 #Docker Compose #n8n #Supabase #Ollama #Open WebUI #Flowise #Qdrant #Neo4j #SearXNG #本地部署 #大型语言模型 #AI代理 #检索增强生成

澎湃新闻-10%公司

6个月前

49元本地部署？198元“永久会员”？三千“李鬼”网站寄生DeepSeek

#本地部署 #永久会员 #DeepSeek #李鬼网站

7个月前

我觉得本地部署开源大模型只是一个美好的愿望。基本没有人的本地机器是跑得动满血版的，即便有这样的机器，很大的概率他也不会真的只放在家庭环境，有可能还是会跑到公司内部去。而满血版也并没有神挡杀神，佛挡杀佛，也就是接近了第一梯队的顶尖模型而已，是接近。而在本地，如果不跑满血版，拿他能干的事情其实就更少了。在量化了之后，推理模型也没有和以前的模型差出很多来。甚至有的时候还不如。如果是公司，可能还有一个并发的需求……对大多数人来讲，本地的扩容方法在工程上可能还是靠堆机器，那些在推理过程中的工程优化方法并没有普及。你肯定可以说我有数据保密的需求，那没问题。预期不要太高，又不是不能跑。我自己还有本地模型每天孜孜不倦的帮我干活呢。我只是想说大多数人对本地部署模型的美好愿望，现在这个阶段可能真的只能满足那么一点点。

#本地部署 #开源大模型 #技术局限性

7个月前

ollama + chatbox 几分钟就可以搞定deepseek 本地部署。

#Ollama #Chatbox #DeepSeek #本地部署

7个月前

DeepSeek可以做很多事情，比如“和 Dexscreener 构建免费的 AI 加密交易机器人”，如果将DeepSeek部署在自己电脑里面，就可以训练自己的专属AI资料库。 ✅今天分享《仅需3步，在本地部署DeepSeek》。本教程保姆级，内容详细，步骤简单，适合初学者【建议收藏】。 🧵教程如下：

#DeepSeek #AI加密交易机器人 #本地部署 #教程 #初学者

7个月前

“deepseek本地部署” 现在被用来疯狂割韭菜不讲武德

#DeepSeek #本地部署 #割韭菜 #不讲武德

9个月前

基于Vision LLM把PDF转为Markdown的一款工具：vision-parse 智能提取，精确识别文本、表格可以保留文档的层级结构、样式支持多页，支持本地部署 #PDF转Markdown

#PDF转Markdown #文件转换 #智能提取 #多页支持 #本地部署 #文本识别 #表格识别