文档 AI 流水线

这个 pack 装了什么

七个解析器覆盖了「这个文件本来给人看，现在 LLM 要读」的所有形态。有专精（Surya 专做 OCR、MinerU 专做数学论文），也有通用（Docling、Unstructured、MarkItDown）。按文件类型组合和精度预算挑。

为什么要装

LLM 读裸 PDF 文本意外地不行。在你眼里像散文的字节，实际上是没有阅读顺序的散落字形 —— pdfplumber 和 PyMuPDF 吐出来的是乱序的，模型读着发懵。表格变成断行。页眉页脚漏进正文。多栏版面会从左栏从上到下读到底，再读右栏，对 transformer 来说毫无意义。

这个 pack 解决了这些。Surya 和 Zerox 用视觉模型像人一样看页面，重建逻辑阅读顺序。Docling 和 Unstructured 跑版面感知流水线，给每个元素打标签（标题、段落、表格、说明），让下游切块尊重结构。MinerU 是唯一能稳定从科学论文提公式和矩阵的开源工具。

Office 文件（PPT、Word、Excel）选 MarkItDown。微软出它是因为自己内部 Copilot 检索需要从 Office 拿干净 Markdown，市面上的转换器太烂。

一条命令装齐

# 装整个 pack
tokrepo install pack/document-ai-pipeline

# 或者按文件类型挑
tokrepo install docling
tokrepo install surya
tokrepo install markitdown

每个资产的 TokRepo 页面都列了支持的文件类型、GPU 要求（Surya 和 Zerox 要 GPU；Docling 和 MarkItDown 跑 CPU），以及下游搭配良好的切块策略。

常见坑

• OCR vs PDF 文本层：PDF 带文本层就不要做 OCR。先跑 Docling，如果文本层完整，跳过 Surya。OCR 比文本抽取慢 10-100 倍
• 表格悄悄破了：多数解析器能提表格但行扁平化常错。永远抽 10 个随机表格肉眼看一遍再相信流水线
• 多栏阅读顺序：法律文件和两栏学术论文坑朴素解析器。Docling 和 Surya 能处理；pdfplumber 不行
• 图片说明丢失：插图常是论文最密集的信息点。确保解析器把说明文字绑在图旁，不要飘到别处
• Zerox 的 token 成本：Zerox 每页调一次视觉 LLM。200 页 PDF 可能要花 $1-2 API 费。要狠狠缓存，优先 Docling 再 Zerox 兜底，不要全走 Zerox

跟其他 pack 的关系

这个 pack 是检索的入库层。它产出干净文本和结构化元素；RAG 流水线 pack 负责切块、embedding、提供服务。要从网页而非文件入库，切到 AI 网页抓取。语音视频内容要先过语音识别（不在本 pack 范围）。

常见的生产栈：MarkItDown 处理 Office → Docling 处理 PDF → Unstructured 切块 → 向量库 → RAG 流水线。包间边界清楚，单层可换不动其他。