#vLLM

1天前

vllm meetup 上海 10-25 议程已公布，报名已开启。

#vLLM #meetup 上海 #10-25 #议程公布 #报名开启

Wey Gu 古思为

3周前

vLLM 社区开了新的项目👍🏻 ： Semantic Router，router 不只是 Mixture of Models 的单独 Chat Completion 的 auto model，还有空间做不少别的花活（Prompt guard，PII mask）

#vLLM #Semantic Router #auto model #Prompt guard #PII mask

2个月前

从零实现 vLLM (1.1）：并行词嵌入 VocabParallelEmbedding：

#vLLM #并行词嵌入 #VocabParallelEmbedding #零实现 #技术