#信息衰减

1周前

DeepSeek OCR 论文里的想法太有意思了。用光学压缩模拟人类记忆遗忘机制，还有点 callback AK 的会遗忘的智能了。。。人类记忆有个特点：一小时前的事，清清楚楚一周前的事，开始模糊一年前的事，几乎忘光视觉感知也一样： 10cm的东西看得清楚 20m的东西几乎看不清 DeepSeek想到一个绝妙类比：用分辨率来模拟这种衰减他们设计了对应关系：近期对话 → Gundam模式（800+ tokens）一周前 → Base模式（256 tokens）久远记忆 → Tiny模式（64 tokens）这样既保留了历史信息，又控制了token数量。远期记忆自然"淡化"，就像人类遗忘一样。如果真的能做到，就能实现"理论上无限的context window"。因为你不需要保持所有信息的高保真度，只需要让信息随时间衰减。遗忘本身是一种优化策略。人类会遗忘，不是因为大脑容量不够，而是因为遗忘让我们更高效。 DeepSeek把这个生物学直觉，转化成了工程实现。这条路如果走通了，可能会改变我们对长上下文问题的理解：不是无限扩大context window，而是让信息自然衰减。

深度学习模型升级引发AI能力大跃进，行业迎新变革· 126 条信息

#DeepSeek OCR #光学压缩 #记忆遗忘机制 #长上下文 #信息衰减