𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞
4周前

ICL不仅在分布内有效，也在分布外的few-shot prompting中有效。 ICL本质上是模型在最小化next-token预测损失时的必然副产品 当模型看到更多上下文(context)时，预测的不确定性会降低 这种"上下文依赖的损失降低"就是ICL的本质 Pretraining阶段：模型学习数据的统计结构（相关性、模式等） Test time阶段：当测试数据在分布内(in-distrib

#ICL #Few-shot prompting #Next-token预测损失 #上下文依赖 #分布外泛化

相关新闻

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2周前

belief shift正是icl可编程的所在 人与LLM投射与反投射的第三空间可以有自己的的信念？

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2周前

MCP交互范式将成为基于ICL的context oriented programming标准 Skills将成为基于ICL的上下文具身经验本体的自然语言编程标准 -www.anthropic.com/engineering/code-execution-with-mcp

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

2周前

弄来弄去还是给ICL提供上下文： 给符号智能以具身经验本体

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

上次是google deepmind那篇，这次是这个： 大家一起来玩ICL

placeholder

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3周前

人类的认知系统： 基因（DNA） = In-Weight：进化尺度的固化能力（如：视觉处理、语言语法） 大脑可塑性 = In-Context：个体尺度的学习能力（如：学会骑自行车、理解新概念） 关键问题： 什么样的"基因设计"，能最大化"大脑可塑性"？ 换到AI语境： 什么样的weight configuration，能最大化ICL的涌现空间？