FireRed-OCR 是什么
firered-ocr 是由小红书团队开源的一款轻量级文档结构理解视觉语言模型，仅含 20 亿参数，却在权威评测 omnidocbench v1.5 中取得 92.94% 的综合得分，力压 gpt-5.2、gemini-3.0 pro 及 qwen3-vl-235b 等超大规模模型，成功实现“小模型超越大模型”的技术突破。该模型以 qwen3-vl-2b-instruct 为基座，采用三阶段递进式训练范式，专为攻克文档解析中长期存在的“结构幻觉”难题而设计，可高精度识别并还原复杂表格、数学公式、多级标题等内容，并统一输出为标准 markdown 格式。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 多模态理解力帮你轻松跨越从0到1的创作门槛☜☜☜
Generate images & videos with: Gemini 3 Pro Image + Qwen Wan 2.6 (video) via one API key
下载
使用AIsa生成图像与视频。仅需一个API密钥即可调用Gemini 3 Pro Image（图像）和Qwen Wan 2.6（视频）。
FireRed-OCR 的核心能力
- 高保真表格识别：从排版混乱的 PDF 或扫描图像中准确识别表格区域，严格维持原始行列逻辑关系，有效规避传统 OCR 中常见的表格错位、跨行断裂等问题。
- 公式语义化解析：精准捕获文档内嵌数学表达式，支持生成语法正确、语义完整的 LaTeX 或 Markdown 公式代码，兼顾可读性与后续编辑需求。
- 智能层级重建：自动判别 H1–H6 标题级别、段落缩进、有序/无序列表等视觉线索，生成符合 Markdown 规范的嵌套结构，还原原文档语义层次。
- 全格式兼容转换：原生支持 PDF、扫描图、学术论文、财报、合同等多种文档类型，一键输出结构清晰、语义连贯的 Markdown 文本。
- 强抗幻觉机制：引入 GRPO（Group Relative Policy Optimization）强化学习框架，显著抑制内容虚构、行序颠倒、标题嵌套错误等典型结构幻觉现象。
- 垂直场景深度适配：已在财务报告数字化、科研文献处理、法务合同解析、古籍电子化、教育资料加工及历史档案转录等专业领域完成落地验证。
- 低门槛部署能力：2B 参数量级带来极佳推理效率，支持本地私有化部署与标准化 API 接入，大幅降低硬件资源消耗，适配中小企业及个人开发者实际需求。
FireRed-OCR 的技术实现
- 底层模型架构：基于 Qwen3-VL-2B-Instruct 多模态大模型构建，复用其卓越的图文联合表征与指令遵循能力。
-
三阶段渐进训练流程：
- 阶段一（多任务协同预对齐）：同步优化区域定位、文本识别与布局到 Markdown 的端到端映射，夯实模型对文档空间语义的理解基础。
- 阶段二（高质量监督微调）：在人工精标、格式统一的 Markdown 数据集上开展 SFT 训练，强化输出一致性、层级合理性与语义忠实度。
- 阶段三（格式驱动强化学习）：采用 GRPO 算法，结合多维格式奖励信号进行策略优化，推动模型自主习得结构化生成规范。
-
四维格式奖励体系：
- 公式语法合规性奖励：确保生成的 LaTeX 表达式可通过编译器校验；
- 表格结构完整性奖励：约束单元格行列索引匹配，杜绝缺失或错位；
- 层级标签闭合性奖励：强制 Markdown 标题标记成对出现，避免嵌套断裂；
- 原文保真度奖励：提升字符识别准确率与上下文语义一致性。
- 结构幻觉根治路径：通过显式格式约束 + 隐式策略优化双通道协同，系统性缓解表格行乱序、公式无中生有、标题层级崩塌等顽疾。
- 端到端结构生成范式：跳过传统 OCR 的检测→识别→版面分析→后处理多步流水线，直接从原始图像输入生成结构化 Markdown，显著压缩误差传播链。
FireRed-OCR 的项目入口
FireRed-OCR 的典型应用
- 财报智能解析：高效提取上市公司年报、审计意见书中的多维财务表格与关键指标，生成结构化 Markdown，支撑自动化财务建模与数据库入库。
- 科研文献处理：精准识别论文中的公式推导、图表说明、参考文献编号体系，输出符合学术出版规范的 Markdown 内容，加速知识图谱构建。
- 法律文书结构化：将扫描件合同、判决书、尽调报告转化为带条款锚点、责任主体标注的可检索 Markdown，提升法务尽职调查与风险审查效率。
- 出版物数字化：复原纸质书籍、期刊的目录树、章节结构与图文混排逻辑，快速生成支持全文搜索与语义标注的数字资产。
- 教学资源结构化：自动解析教材例题、试卷填空、课件公式等教学要素，输出适配 LMS 平台（如 Moodle、Canvas）的标准化 Markdown 教学包。
- 历史档案活化：面向图书馆、档案馆等机构，批量处理手写笔记、老票据、旧公文等非结构化历史材料，构建具备时间轴、关键词、实体链接能力的智能档案库。
