embedding 的本质，是人类语言的语义，在数学空间的投影。作为数值化的语言表征，embedding 所做的，不过就是把原本在人类语言中模糊、上下文依赖、含糊其辞的“语义”，映射到一个数学上可度量、可操作的空间。 embedding 不懂“爱”，但它知道“爱”与“喜欢”的向量距离比“爱”与“桌子”近。在认识论意义上，embedding 是一种“可计算的理解近似”。embedding，

#Embedding #语义 #数学空间 #语言表征 #可计算的理解近似

相关新闻

howie.serious

1周前

gemini 3.0 pro，一个更好的思想伙伴（thinking partner）？测试案例： > deep-think this """ > > 想到：在 embedding 的世界，King - Queen = Man - Woman。 > > 那么，语文的本质，是数学？初步感受： - 逢迎问题（sycophancy）似乎被解决了； - 同一个测试案例，相对于gpt-5.1 thin

howie.serious

2个月前

对比下两种不同的说法： 1）书，在未来会成为“embedding化的智能副本” 2）“把这本书RAG一下” 更具体一点，多说一句话来解释：把一本书的文本切块，处理成高维向量（embedding）后放进向量数据库（vector DB）；读者可以直接对书（的embedding）提问，用相似度算法把最相关段落检索出来，然后llm基于这本书的内容来回答读者问题。简称为“RAG”。

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

3个月前

人类的判断力如positive，powerful和active也会在LLM潜空间形成向量簇。有意思！embedding geometry reflects human associations 对这些token的干预会影响向量簇中的其它token表达。在小模型中比大模型敏感。底线是，许多语义是低维和重叠的，因此引导一个特征将可预见地转移附近的特征。 ---- Paper – arxiv

Olivert

3个月前

从sore到sear, searing, searingly。sear原始词源源自原始日耳曼语 *saurajan-（意为 “使干燥、变干”），这一词根与 “干燥” 这一核心概念紧密相关，是印欧语系中 “干燥” 语义场的分支之一。订阅专栏查看全文，仅需10元。