#生产级应用

avatar
ginobefun
1个月前
12-Factor Agents - 构建可靠 LLM 应用的原则 "12-Factor Agents" 项目借鉴了经典的 "12 Factor Apps" 理念，为构建生产级别的、基于大型语言模型的应用程序提供了一套清晰、实用的工程原则。作者 Dex 通过自身丰富的实践经验，指出当前许多 AI 代理框架虽然功能强大，但在追求高可靠性、可维护性和可扩展性的生产环境中，开发者往往需要回归到更基础的软件工程实践。 该项目认为，许多成功的智能体应用，其核心并非完全不可控的自主决策循环，而是精心设计的、以确定性代码为主导，并在关键环节巧妙嵌入 LLM 能力的软件系统。因此，它提出了12个核心要素，旨在帮助开发者： - 增强控制力： 例如“拥有你的提示”、“拥有你的上下文窗口”、“拥有你的控制流”。 - 提升工程质量： 例如“工具即结构化输出”、“小型、专注的代理”、“通过简单的 API 启动/暂停/恢复”。 - 确保系统稳健性： 例如“将错误压缩到上下文窗口”、“统一执行状态和业务状态”。 - 实现人机有效协同： 例如“通过工具调用联系人类”。 其根本目标是让开发者，即使没有深厚的 AI 研究背景，也能将 LLM 的强大能力以模块化、可控的方式整合进现有产品，从而更快地交付高质量、能真正服务于生产客户的 AI 软件。
#12-Factor #LLM #大型语言模型 #AI代理 #生产级应用 #工程原则
avatar
九原客
4个月前
DeepSeek 满血版在国产硬件上贫瘠的推理性能基本告别生产级应用。 四台8卡晟腾910B 单用户推理速度才10+ tokens/s，花五百万就买个这？
#DeepSeek #国产硬件 #推理性能 #生产级应用 #晟腾910B #单用户推理速度