PDF 提取器技能

从学术 PDF 论文中提取文本及数学公式。支持英文与中文内容。

适用场景

在以下情况下使用该技能：

• 用户需要从 PDF 论文中提取文本和 LaTeX 公式
• 用户提及“PDF转文本”、“PDF提取公式”、“论文OCR”等关键词
• 用户希望将学术论文转换为 Markdown 格式

工具选型

推荐使用 Marker：支持中英文混排，公式识别效果更优。

环境配置

Conda 环境: pdf-extractor
Python 路径: D:anaconda3envspdf-extractorpython.exe

关键依赖项

• PyTorch 2.10.0+cu128（CUDA 12.8）
• marker-pdf（Surya OCR + Texify）
• nougat-ocr 0.1.17
• transformers

重要提示：本技能须保持自包含（禁止额外安装）

该技能预期仅通过已有的 pdf-extractor conda 环境及 scripts/ 目录下的脚本运行。

规则如下：

• 禁止在提取过程中执行 pip install ... / conda install ... 或下载任意第三方库。
• 若缺失依赖（例如 Nougat 因缺少 torchvision 崩溃），不得通过安装包方式修复；应切换至其他工具（优先选用 Marker），或上报环境问题。
• Marker 运行较慢属正常现象（尤其启用 --ark-code-latest 时）。建议对长 PDF 进行分页处理，而非更换工具或增加依赖。

长 PDF 的推荐处理方式：

• 使用 --page-range（页码从 0 开始编号）按页或小批量页面提取。
• 后续合并生成的 Markdown 文件（简单拼接即可）。请将合并后的文件置于与单页输出相同的目录下，以确保图片链接有效。

示例（LLM 模式下单页提取）：

D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2md_marker.py "paper.pdf" --ark-code-latest --page-range "0" -o "out/page_01.md"

工具 1：Marker（推荐 — 支持中英文）

命令行用法

# 转换中文论文（默认支持中英文）
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2md_marker.py "论文.pdf"

# 指定输出路径
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2md_marker.py "paper.pdf" -o "output.md"

# 强制 OCR（适用于扫描版 PDF）
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2md_marker.py "scanned.pdf" --force-ocr

# 使用火山方舟 Coding Plan（OpenAI 兼容）增强转换质量（表格/公式/跨页结构更稳定）
# 注意：默认启用 ark-code-latest，后台将自动路由至合适模型
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2md_marker.py "paper.pdf" --ark-code-latest

# 仅处理第 1 页用于快速验证（页码索引从 0 开始）
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2md_marker.py "paper.pdf" --ark-code-latest --page-range "0" -o "out_first_page.md"

# 如需自定义（不推荐）：也可手动指定 --openai-base-url/--openai-api-key/--openai-model

# 指定文档语言
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2md_marker.py "paper.pdf" --languages Chinese English Japanese

Python API

import sys
sys.path.insert(0, r'C:Userscr.configopencodeskillspdf-extractorscripts')
from pdf2md_marker import convert_pdf, convert_pdf_cli

# 简单用法
output_file = convert_pdf_cli('论文.pdf', 'output.md')

# 完整 API
markdown_text, metadata = convert_pdf(
    'paper.pdf',
    output_dir='./output',
    force_ocr=False,
    batch_multiplier=2,
    languages=['Chinese', 'English']
)
print(markdown_text)

Marker 参数说明

工具 2：Nougat（仅适用于纯英文论文）

命令行用法

# 转换整篇 PDF
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2latex.py "paper.pdf"

# 转换指定页面
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2latex.py "paper.pdf" -p 0-5

# 自定义输出路径
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2latex.py "paper.pdf" -o output.mmd

# 每页单独保存
D:anaconda3envspdf-extractorpython.exe C:Userscr.configopencodeskillspdf-extractorscriptspdf2latex.py "paper.pdf" --per-page

Python API

import sys
sys.path.insert(0, r'C:Userscr.configopencodeskillspdf-extractorscripts')
from pdf2latex import load_model, process_pdf, save_results

# 加载模型（如 GPU 可用则自动使用）
model, device = load_model()

# 处理 PDF
results = process_pdf('paper.pdf', model, device)

# 保存为单个 Markdown 文件
save_results(results, 'output.mmd')

# 或按页分别保存
save_results(results, 'output_pages/', format='pages')

Nougat 参数说明

输出格式

两种工具均输出含 LaTeX 数学公式的 Markdown：

• 正文以标准 Markdown 格式提取
• 数学公式以 LaTeX 格式呈现：
  • 行内公式：$formula$
  • 独立公式：$$formula$$
• 表格、图表及参考文献均予以保留
• Marker 还会将图片提取至独立文件夹

对比总结

故障排查

导入错误

请确认使用的是正确的 Python 解释器：

D:anaconda3envspdf-extractorpython.exe your_script.py

CUDA 内存不足

可尝试 Nougat 的 CPU 模式，或降低 Marker 的批处理大小：

# Nougat：使用 CPU
D:anaconda3envspdf-extractorpython.exe pdf2latex.py paper.pdf --cpu

# Marker：减小批处理倍率
D:anaconda3envspdf-extractorpython.exe pdf2md_marker.py paper.pdf --batch-multiplier 1

中文字符未被识别

中文文档请务必使用 Marker，而非 Nougat。

处理速度缓慢

• Marker 速度较慢但精度更高（调用多个 ML 模型）
• 针对纯英文论文，如需更快处理，请使用 Nougat
• 请确认 GPU 已启用（检查 CUDA 可用性）

模型信息

Marker 所用模型（自动下载）：

• Surya OCR：文本检测与识别
• Texify：数学公式识别
• 版面分析模型

Nougat 基础模型（1.31 GB）：

• 存放路径：C:Userscr.cachetorchhubnougat-0.1.0-base
• 适用场景：标准学术论文、arXiv 论文

示例工作流

import sys
sys.path.insert(0, r'C:Userscr.configopencodeskillspdf-extractorscripts')

def extract_paper(pdf_path, is_chinese=True):
    """
    从学术论文中提取文本及公式。
    
    Args:
        pdf_path: PDF 文件路径
        is_chinese: True 表示中文论文，False 表示纯英文论文
    
    Returns:
        提取得到的 Markdown 文本
    """
    if is_chinese:
        from pdf2md_marker import convert_pdf
        text, _ = convert_pdf(pdf_path, languages=['Chinese', 'English'])
    else:
        from pdf2latex import load_model, process_pdf
        model, device = load_model()
        results = process_pdf(pdf_path, model, device)
        text = 'nn'.join([t for _, t in results])
    
    return text

# 使用示例
text = extract_paper('中文论文.pdf', is_chinese=True)
print(text)