2个月前

最近在考虑将 LobeChat 的 AI Completion 实现全面转向 Nodejs Runtime ,来问问大家的看法: 站在 2025 年的当下来看,调用 AI 接口还有没有必要使用 Edge Runtime?使用 Vercel Fluid Compute 是否是 Edge Runtime 的上位替代? 目前我们仍然使用 Edge Runtime 的考虑点: 1. Edge Runtime 没有时长限制,因此理论上具有无限时长的连接时间; 2. 从计价模型上来说,Edge Runtime 按请求次数收费,价格上可以说低于 NodeJS Runtime 一个数量级; 但 Edge Runtime 的缺点: 1. 无法支持连接 DB,虽然像 neon 这样的Serverless PG 服务商可以支持 edge runtime 的连接,但是考虑到我们的大量 Docker 用户还需要 Node 版 PG,这个方案就不可行; 2. Edge Runtime 必须要在多少s 之前有首 token 响应否则就会超时,这对于很多需要长时思考的模型来说并不友好 换成 NodeJS Runtime 的好处: 1. 可以直接连 DB,这样后面做 spend 落库分析都会很简单; 2. 可以长时运行,应该不会有 EdgeRuntime 的首 token 响应还会超时的问题; 缺点: 1. 计费上可能会更贵, Vercel 的 Fluid Compute 还是一个新东西,需要一个吃螃蟹的人真真实实探下这个底; 2. Vercel 上免费版的时长应该是最大90s,Pro 可以到达 800s,这就意味着免费版的 Vercel 自部署用户一个 ai 请求到了 90s 就会被掐断了,而如果是 edge runtime 则不会有这问题。 欢迎大家 share 自己的实践经验!🫡