Limbo

Limbo

0 关注者

19小时前

我想知道对于 LLM 输出 JSON 超出max_tokens 被截断了,大家都是怎么处理的?注意有些模型 continue 并不会从当前截断的 JSON 处恢复。

#LLM #JSON截断 #max_tokens #模型恢复 #问题处理

相关新闻

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

8小时前

阶跃星辰stepfun可以的,这个step3的部署架构把attention和MLP分开,效率更高! LLM的下一个突破是啥?attention+MLP+?

placeholder

大罗SEO

9小时前

谷歌发布了一篇新的关于LLM如何通过上下文进行学习的Paper,给未来GEO优化提供了些新的方向: 论文的核心发现是,LLM能够在不更新权重的情况下,通过前向传播(forward pass)中的低秩更新(rank-1 tweak)来适应新模式。这种机制表明,模型可以通过上下文提示动态调整其行为,而无需传统的梯度下降训练。

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1天前

“我知道我不知道”,这其实对LLM来说也很重要。

placeholder

黄赟

2天前

推荐下好友 Evan 的 RAG 专栏: 1/ 体系化的 RAG 知识框架,一本通全流程和关键技术; 2/ 从 0 到 1 真实知识库项目实操 3/ 定期剖析 RAG 最新论文 Evan 是 LLM + 信息检索 方向的博士,他经常活跃我群,组织大家打各种 AI 竞赛。 所以兄弟们,下方扫码,滴滴

placeholder

yan5xu

2天前

全文在公众号,文末有一段关于 kv cache 原理的科普强烈推荐读一读,对理解 llm 推理有帮助

© 2025 news.news. All rights reserved. 0.27182 秒. v1.0.37
我的评论