#权重更新

avatar
两种”权重更新”的方式 在任何神经网络中，系统的行为可以被概念化为： 输出 = f(输入; θ) 其中θ是网络参数（权重） 但这个式子可以被重写为： 输出 = f_context(输入; θ, c) 其中c是"上下文"（context） θ（权重）：通过梯度下降缓慢更新 ∂L/∂θ = ...（需要反向传播） c（上下文）：通过前向传播快速计算 c = g(历史输入; θ)（只需要前向传播）
#神经网络 #权重更新 #梯度下降 #前向传播 #上下文
avatar
自然语言上下文不是被”翻译”成权重更新，而是直接在潜空间中”编译”成权重更新。 形式语言上下文需要额外的翻译步骤： 形式语言 → 解析 → 语义表示 → 潜空间向量 → ΔW 自然语言上下文直接映射： 自然语言 → 潜空间向量 → ΔW 这就是为什么LLM”更喜欢”自然语言。 其实人也一样，更喜欢自然语言。形式语言源自自然语言中对确定性计算的不足的需要。
#自然语言 #形式语言 #LLM #权重更新 #潜空间
avatar
勃勃OC
8个月前
作为年度CPI权重更新的一部分，为反映过去的支出模式，美国劳工统计局（BLS）刚刚将核心商品（主要是汽车）的权重提高了约1个百分点，同时将核心服务（主要是住房）的权重降低了1个百分点。 这正是关税生效前夕的情况：商品的权重上升（这将进一步放大来自墨西哥/加拿大汽车关税的通胀影响），而房租的权重下降（房租通胀即将加速放缓）。 Anna Wong评论：这只是正常的程序，没有任何阴谋论。
#美国CPI #权重更新 #核心商品 #核心服务 #汽车关税 #住房通胀