#长文本处理

avatar
Max For AI
6个月前
重磅！梁文锋拿奖了！ DeepSeek-AI 与北大联合提出原生稀疏注意力 NSA，斩获 ACL 2025 最佳论文！ ACL 2025 最佳论文刚刚揭晓，由 DeepSeek-AI 和北京大学等机构合作的论文《Native Sparse Attention: Hardware-Aligned and Natively Trainable Sparse Attention》荣获 Best Paper Award！ 再次向大神云集的作者团队表示热烈祝贺！ 通讯作者包括我们熟悉的 梁文锋 (Wenfeng Liang) 、张铭 (Ming Zhang) 和曾旺鼎 (Wangding Zeng)。 这篇获奖论文直面下一代大模型长上下文处理的巨大计算挑战，提出了一种名为 NSA（Natively trainable Sparse Attention） 的原生稀疏注意力机制。 它的核心创新在于将算法设计与硬件优化深度融合。 效果怎么样？看图说话！（图2️⃣ - 性能更优 ：实验结果显示，在通用、长文本（LongBench）及推理（Reasoning）各项基准测试中，NSA 的性能全面超越了传统的全注意力（Full Attention）机制。 - 速度起飞 ：NSA 实现了惊人的加速效果！在解码（Decode）、前向（Forward）和后向（Backward）传播阶段，分别达到了 11.6倍、9.0倍和6.0倍 的速度提升！ 这项工作真正做到了性能与效率兼得，无疑是长文本领域的福音，为未来 AI 大模型的发展点亮了新的灯塔。为中国 AI 的力量喝彩！ 再次恭喜所有获奖的作者们！ #ACL2025 #DeepSeek #PekingUniversity #BestPaper #AI #NLP #大模型
#梁文锋获奖 #DeepSeek-AI #ACL 2025最佳论文 #原生稀疏注意力NSA #长文本处理
avatar
5.28 #要闻：DeepSeek R1模型已完成“小版本试升级”，本次更新在语义理解精准性、复杂逻辑推理、长文本处理进行了强化，更新后模型的理解能力、编程能力均大幅提升。这是两个月来DeepSeek首次模型更新
深度学习模型升级引发AI能力大跃进，行业迎新变革· 143 条信息
#DeepSeek #R1模型 #语义理解 #逻辑推理 #长文本处理 #模型更新