#文档数字化

avatar
meng shao
4小时前
[开源模型] DeepSeek-OCR: DeepSeek 最新开源的 VLM，参数规模 3B，核心目标是从 LLM 的视角探索视觉编码器的作用，并推动视觉-文本压缩技术的边界。该模型被命名为“Contexts Optical Compression”，目的是高效处理图像中的文本提取和文档结构化任务，适用于 OCR 和文档数字化场景。 关键创新与架构 DeepSeek-OCR 的设计强调 LLM 中心化的视觉处理创新： · 视觉-文本压缩机制：通过动态分辨率处理（如 Gundam 模式，将图像裁剪为多个 640×640 块加一个 1024×1024 中心块），将视觉输入压缩为少量 token（例如 Base 模式下 256 个视觉 token），减少计算开销的同时保留高保真度。这不同于传统 VLM 的固定分辨率编码，更注重与 LLM 的无缝融合。 · 多模态提示支持：引入 grounding 提示（如“<|grounding|>”），允许模型针对性执行任务，如“Convert the document to markdown”用于结构化输出，或“Free OCR”用于纯文本提取。 · 训练策略：模型借鉴了 Vary 和 GOT-OCR2.0 等开源项目，聚焦于文档、图表和弱视觉信号的处理，支持 32 种语言的 OCR（包括中文和英文）。 这些创新使 DeepSeek-OCR 在处理复杂布局（如表格、图表）时表现出色，避免了传统 OCR 工具（如 Tesseract）的刚性限制。 性能表现 在基准测试中，DeepSeek-OCR 展现出高效性和准确性： · OCR 准确率：在 OCRBench 等数据集上，超越部分开源 VLM（如 Qwen-VL），尤其在手写体和低质量图像上表现稳健。 · 推理速度：使用 vLLM 引擎，在 A100-40G GPU 上处理 PDF 可达约 2500 token/s，支持并发批量评估。 · 分辨率适应：支持 Tiny（512×512）到 Large（1280×1280）模式，平衡精度与效率；在 OmniDocBench 等文档基准中，文档到 Markdown 转换的 F1 分数高于基线模型 5-10%。 它在资源受限环境下（如单 GPU）实现 SOTA（最先进）性能，但对极高分辨率图像的泛化仍需优化。 使用与应用 部署简单，支持 Hugging Face Transformers 和 vLLM： · 环境准备：Python 3.12+、CUDA 11.8、Torch 2.6.0，安装 flash-attn 和 vLLM。 · 应用场景：文档数字化（如 PDF 转 Markdown）、发票提取、学术论文图表解析。仓库提供可视化示例，展示从杂乱图像到结构化输出的效果。 开源模型
#开源模型 #DeepSeek-OCR #VLM #视觉-文本压缩 #文档数字化