#块状预填充技术

小互

5个月前

阿里巴巴推出Qwen2.5-1M 支持100万Token上下文的开源模型，性能媲美GPT4o mini Qwen2.5-1M 在处理超长文本任务和短文本任务上都表现出了卓越的能力，尤其是在处理复杂的长上下文场景中，达到了开源模型的领先水平。推理速度比传统方法快 3 到 7 倍，尤其在处理超长序列时表现优异。推理阶段通过块状预填充（Chunked Prefill）技术，使显存需求减少 96.7%。

#阿里巴巴 #Qwen2.5-1M #开源模型 #GPT4o mini #超长文本任务 #短文本任务 #长上下文场景 #推理速度 #块状预填充技术