#Embedding

1个月前

对比下两种不同的说法： 1）书，在未来会成为“embedding化的智能副本” 2）“把这本书RAG一下” 更具体一点，多说一句话来解释：把一本书的文本切块，处理成高维向量（embedding）后放进向量数据库（vector DB）；读者可以直接对书（的embedding）提问，用相似度算法把最相关段落检索出来，然后llm基于这本书的内容来回答读者问题。简称为“RAG”。

#Embedding #RAG #向量数据库 #LLM #文本处理

𝙩𝙮≃𝙛{𝕩}^A𝕀²·ℙarad𝕚g𝕞

1个月前

人类的判断力如positive，powerful和active也会在LLM潜空间形成向量簇。有意思！embedding geometry reflects human associations 对这些token的干预会影响向量簇中的其它token表达。在小模型中比大模型敏感。底线是，许多语义是低维和重叠的，因此引导一个特征将可预见地转移附近的特征。 ---- Paper – arxiv. org/abs/2508.10003 Paper Title: "Semantic Structure in LLM Embeddings"

#LLM #语义结构 #Embedding #向量簇 #低维重叠