一份“千人千面”的 PDF：当文档同时服务于人类与 AI

背景

PDF 本质上是一种视觉呈现格式，其核心指令是告诉渲染引擎在页面的具体坐标处绘制哪些字形（glyphs）。虽然 PDF 规范早在 2001 年（PDF 1.4 版本）就引入了 Tagged PDF（标记 PDF），通过结构树来标记标题、段落和列表等语义信息，但在实际应用中，这一功能并未得到广泛普及。

目前，大多数用户接触到的 PDF 都是未标记（untagged）的。无论是 LaTeX 编译、Chrome 的“打印为 PDF”功能，还是大多数导出工具，通常只生成包含坐标和字体大小的指令，而不包含语义结构。传统的文本提取器只能按照从左到右、从上到下的顺序读取绘制命令，试图还原文本流，但这往往导致结构信息的丢失。

在过去，这种缺陷对人类读者影响不大，因为人类具备强大的上下文理解能力。然而，随着大语言模型（LLM）的普及，PDF 的主要读者之一变成了 AI。当我们将 PDF 上传至 ChatGPT、要求 Claude 进行总结，或通过解析器处理时，所有工具都面临同一个难题：从一个从未携带结构信息的格式中重构结构。例如，LLM 看到的可能是 Project Alpha\nLed a team of 5 engineers\nto deliver the，它必须猜测哪里是标题结束，哪里是句子继续。虽然有时能猜对，但错误频发。

核心内容

作者提出了一种创新方案：制作一种“智能 PDF”。这种文件在视觉上与普通 PDF 完全一致，人类看到的是排版精美的文档；但在机器读取时，提取器却能获得干净的 Markdown 格式文本。关键在于，这不需要新的文件扩展名，也不需要额外的转换步骤，仅仅是一个标准的 .pdf 文件。

技术原理：利用被忽视的规范特性

该方案利用了 PDF 规范中一个鲜为人知的特性。自 PDF 1.4 以来，规范允许为“标记内容”定义替换文本（replacement text）。

1. 渲染器忽略它：PDF 渲染引擎（如 Adobe Acrobat、浏览器预览）会忽略替换文本，直接绘制内容流中指定的视觉字形。因此，人类看到的文档外观不受任何影响。
2. 提取器使用它：支持该特性的文本提取器（如 PyMuPDF 和 Poppler）会返回替换文本，而不是视觉文本。
3. 原始用途：这一特性最初设计用于处理连字（ligatures）或无法直接映射到 Unicode 的字符。例如，视觉上显示为连字 "fi" 的字形，提取时应返回两个字符 "f" 和 "i"。但由于缺乏大规模应用，这一特性长期被闲置。

作者将这一特性应用于文档级别，通过标记内容序列（marked-content sequences）将结构化的 Markdown 文本附加到内容流中。这样，支持该特性的提取器返回的是带有标题、列表和表格结构的 Markdown，而不支持该特性的提取器则返回原始的视觉文本。

实际效果对比

为了验证这一方法，作者对比了普通 PDF 和“智能 PDF”在文本提取时的差异。两者在 Preview、Adobe 等任何 PDF 查看器中外观完全一致，但提取结果截然不同：

普通 PDF 提取结果：

• 缺乏层级结构。
• 句子在中间被错误换行（如 sch\nedule）。
• 项目符号与段落难以区分。
• 表格被扁平化为单行文本。

智能 PDF 提取结果：

• 明确的 Markdown 标题（#, ##）。
• 完整的句子，无错误断行。
• 清晰的项目符号列表（-）。
• 结构化的 Markdown 表格。

对于 LLM 而言，这种显式的结构至关重要。LLM 不再需要猜测 "Key Metrics" 是章节标题还是正文的一部分，也不需要推断哪些行属于列表。结构信息被直接嵌入，消除了歧义。

基准测试与验证

作者使用工具将多个 PDF 转换为智能 PDF，并使用 PyMuPDF 的 get_text() 方法和在线工具 pdf2go 分别提取文本。

1. Token 数量：两者的 Token 数量大致相同。优势不在于减少 Token 消耗，而在于提高了每个 Token 的信息密度。例如，## Overview 和 Overview 消耗的 Token 相同，但前者明确告知机器其结构角色。
2. 文件大小：大多数文件的大小增加在个位数百分比以内。部分文件（如教科书）变小是因为 PyMuPDF 的垃圾回收优化移除了未使用的对象，这是通用优化，并非该技术特有。
3. LLM 验证：作者将智能 PDF 上传至 ChatGPT 和 Claude，要求它们复制粘贴看到的原始文本。两个模型都返回了 Markdown 格式（包含 #, ##, - 等标记）。虽然 LLM 本身具备结构推断能力，且 Docling 等工具也能通过布局分析生成 Markdown，但智能 PDF 的输出与嵌入层完全匹配，包括那些布局启发式算法难以精确复现的格式选择。

关键要点

• 双重视图：同一份 PDF 文件，对人类显示为排版好的视觉文档，对机器显示为结构化的 Markdown。
• 零额外成本：无需维护两个副本，无需新的文件扩展名，无需额外的转换步骤。文档本身根据消费方式决定呈现内容。
• 技术可行性：利用 PDF 规范中自 2001 年（PDF 1.4）起就存在的“标记内容替换文本”特性。主流开源提取器（PyMuPDF, Poppler）已支持该特性。
• 提升信息密度：在不增加 Token 数量的前提下，通过显式结构标记提高了机器可读的信息密度，降低了 LLM 的结构推断错误率。
• 视觉一致性：渲染引擎完全忽略替换文本，确保人类读者看到的文档外观与普通 PDF 毫无二致。

意义与影响

这项技术标志着文档格式从“静态视觉容器”向“自适应智能文档”的演进。

1. 解决 AI 时代的文档痛点：随着企业和个人越来越多地将 PDF 作为 AI 输入源，结构丢失导致的解析错误和幻觉问题日益突出。智能 PDF 提供了一种向后兼容的解决方案，无需改变现有的文档分发流程，即可提升 AI 处理效率。
2. 简化工作流：用户不再需要在“人类可读版本”和“机器可读版本”之间切换或维护两套文件。文档的适应性由文件内部决定，极大简化了文档管理和分发。
3. 推动规范复兴：这一实践重新激活了 PDF 规范中被长期忽视的特性，证明了旧标准在新时代的应用潜力。它可能促使更多工具完善对该特性的支持，从而形成良性循环。
4. 未来展望：作者正在探索将此功能集成到 Google Docs 等编辑器中，以简化智能 PDF 的创建流程。如果这一技术得到广泛采用，未来的文档生态将更加智能化，实现“一次创建，处处适配”。