WY
2个月前
DeepSeek刚发的OCR模型有点小火,一方面是突出的性能,号称压缩10倍还有97%准确率,另一方面关于用分辨率来模拟遗忘机制的假想,恰巧AK在最近的访谈中说人的遗忘是一个feature而不是bug。 DeepSeek OCR模型很有意思的一点是提供了好多个“分辨率”选项,并且看起来用的token很少。最低的512 x 512一张图只需要64个token,稍大一点的1024 x 1024是256个token。复杂版面还组合使用多种分辨率,首先是整张图用i个1024 x 1024,此外重点区域可能用多个640 x 640。 不少人惊呼太牛逼了,一张图只需要几十个token。其实至少在学术界,这样的视觉编码效率并不算很大的突破。 目前看不到技术细节,但DeepSeek OCR的搞法,怎么看怎么像去年字节的那篇best paper的思路(还记得去年字节有个实习生搞破坏被公司索赔800万吗,他就是paper的作者)。那篇paper是去年顶会NeurIPS的best paper,提出的Visual Autoregressive Modeling(VAR)方法就是采用"粗到细"的多尺度预测,逐步从低分辨率扩展到高分辨率。 另外,去年豆包团队也有一篇paper,把512 x 512的图片也是编码到了64个token,和DeepSeek OCR一模一样。那篇paper还能把256 x 256的图片编码到更小的32个token。DeepSeek OCR模型毕竟是要做文字识别而不是场景理解的,可能因此舍去了不太实用的256 x 256尺寸。 很有可能DeepSeek OCR是受到了这两篇paper很大的启发,把它进一步工程化产品化了。从过往的记录看,DeepSeek团队特别把其它实验室的研究成果进一步做扎实,产品化。 至于用分辨率来模拟遗忘机制的假想,确实是个有点意思的想法,但也感觉有点不太对。越来越模糊的分辨率,感觉模拟的更像是越来越高度的近视,这是一种很好的遗忘机制吗? 另外,人脑的遗忘机制可能适合人脑,未必适合数字的第二大脑。人脑要遗忘也可能是因为一个人的脑容量毕竟有限,数字系统容量可以一直扩,是不是一定要遗忘呢。 这些都是问题。这得多想想。
meng shao
2个月前
[开源模型] DeepSeek-OCR: DeepSeek 最新开源的 VLM,参数规模 3B,核心目标是从 LLM 的视角探索视觉编码器的作用,并推动视觉-文本压缩技术的边界。该模型被命名为“Contexts Optical Compression”,目的是高效处理图像中的文本提取和文档结构化任务,适用于 OCR 和文档数字化场景。 关键创新与架构 DeepSeek-OCR 的设计强调 LLM 中心化的视觉处理创新: · 视觉-文本压缩机制:通过动态分辨率处理(如 Gundam 模式,将图像裁剪为多个 640×640 块加一个 1024×1024 中心块),将视觉输入压缩为少量 token(例如 Base 模式下 256 个视觉 token),减少计算开销的同时保留高保真度。这不同于传统 VLM 的固定分辨率编码,更注重与 LLM 的无缝融合。 · 多模态提示支持:引入 grounding 提示(如“<|grounding|>”),允许模型针对性执行任务,如“Convert the document to markdown”用于结构化输出,或“Free OCR”用于纯文本提取。 · 训练策略:模型借鉴了 Vary 和 GOT-OCR2.0 等开源项目,聚焦于文档、图表和弱视觉信号的处理,支持 32 种语言的 OCR(包括中文和英文)。 这些创新使 DeepSeek-OCR 在处理复杂布局(如表格、图表)时表现出色,避免了传统 OCR 工具(如 Tesseract)的刚性限制。 性能表现 在基准测试中,DeepSeek-OCR 展现出高效性和准确性: · OCR 准确率:在 OCRBench 等数据集上,超越部分开源 VLM(如 Qwen-VL),尤其在手写体和低质量图像上表现稳健。 · 推理速度:使用 vLLM 引擎,在 A100-40G GPU 上处理 PDF 可达约 2500 token/s,支持并发批量评估。 · 分辨率适应:支持 Tiny(512×512)到 Large(1280×1280)模式,平衡精度与效率;在 OmniDocBench 等文档基准中,文档到 Markdown 转换的 F1 分数高于基线模型 5-10%。 它在资源受限环境下(如单 GPU)实现 SOTA(最先进)性能,但对极高分辨率图像的泛化仍需优化。 使用与应用 部署简单,支持 Hugging Face Transformers 和 vLLM: · 环境准备:Python 3.12+、CUDA 11.8、Torch 2.6.0,安装 flash-attn 和 vLLM。 · 应用场景:文档数字化(如 PDF 转 Markdown)、发票提取、学术论文图表解析。仓库提供可视化示例,展示从杂乱图像到结构化输出的效果。 开源模型
小互
2个月前