跳转至

MinerU PR 处理记录:2026-10-10

本轮范围为原审查的 54 个开放 PR:前 20 个已评论并关闭;另外 6 个问题已修复、推送,对应原 PR 亦已评论并关闭;28 个暂缓。 用户已授权推送六项修复并关闭对应原 PR。MinerU 推送到 myhloli/Magic-PDF 的 dev 分支,DocVortex 推送到 myhloli/DocVortex 的 main 分支;暂缓 PR 不发表评论。未自动合并或发布版本,原有未跟踪 examples/ 保留。

关闭结果

失败项:0。评论 ID、URL、逐项关闭原因和最终核验时间保存于 关闭记录 JSON。

PR 原因 评论 ID 最终状态
#5490 当前 DocVortex 已按字形来源保护连字展开,旧字符去重实现已移除。 6084772277 closed
#5424 对应渲染测试已迁到 DocVortex,其测试依赖已经包含 Markdown。 6084774355 closed
#5420 当前基础依赖已移除 OpenCV,不再需要替换为 headless 包。 6084776289 closed
#5402 输出文档已按新协议重写,原错误图片引用已经不存在。 6084778495 closed
#5382 当前支持的 MLX 版本已升级,不继续维护旧版解码器运行时补丁。 6084780522 closed
#5364 当前共享 Markdown renderer 已处理普通文本中的 HTML 标签转义。 6084782471 closed
#5354 当前运行时已有窗口及文档结束时的显式堆回收能力。 6084784530 closed
#5335 当前实现已经覆盖文档结束后的可选堆回收,此实现重复。 6084786434 closed
#5261 当前 V1 API 已提供具体响应模型,旧 API 实现已移除。 6084788503 closed
#5240 被修改的旧多桶 S3 reader/writer 已移除,不适用于当前版本。 6084790442 closed
#5208 旧模型路径配置写回流程已移除,当前模型 registry 不经过该函数。 6084792343 closed
#5184 当前相关安装示例已经加引号或改写。 6084794422 closed
#5119 当前没有 albumentations 调用,HF 依赖已包含 hf_xet extra。 6084796404 closed
#5107 当前使用明确的 concurrency 配置,macOS 已能按配置运行。 6084798343 closed
#5136 当前已有公开 parser/kit 接口,此旧 SDK 实现不兼容并重复现有能力。 6084800349 closed
#5441 当前对应 Advanced 的 VLM 布局;暂不在 MinerU 添加去重,后续需要时应由 mineru-vl-utils 处理。 6084802167 closed
#5412 当前不计划支持 Word 自定义编号模板,以控制列表模型及渲染复杂度。 6084804045 closed
#5270 当前不恢复 Word 编号模板及计数,标题编号维持既有语义规则。 6084805942 closed
#5369 DOCX 按流式语义文档处理,维持分节分页,不增加手动分页符或排版属性驱动的分页。 6084807744 closed
#5607 问题已在维护分支 dev 通过负载调度和上传轮转解决(提交 e61475184757d3fe02aa1dd74b935493ce721f92),此替代实现关闭。此处指维护分支实现,不代表上游发布版已经包含。 6084809761 closed

六项修复与提交

实现基线:MinerU dev e61475184757d3fe02aa1dd74b935493ce721f92;DocVortex main 896daf3d702ca8f6a9a945f6171c31d855b5eab3。原 PR 的旧路径实现未直接合并。

PR 当前实现 本地提交
#5188 异常类型/链识别、引擎死亡锁定、503/engine_dead、排队失败、取消清理、单 generation 替换及退避、失败快照与迟到响应保护。 c92834be、6a5e7b2d、aa30e087
#5477 Torch 初始化边界及后续工作线程传播,配置优先级、有效 CPU 配额和已有更低上限保护;Linux 对照工具。 ae2f957e、26c31974、7b19a73a
#5495 默认 24h/0 禁用、300s 扫描、终态和产物 TTL、CAS 输入/预检/写入/下载保护、源缓存与路由回收、目录锁、累计用量保留。 56f90f98、badb8cee、143077ef
#5526 仅补 5 个行尾标点及 3 个行首标点,Python 与原生快照统一传递规则;真实 PDF 边界与邻框归属。 ee8244be
#5389 PPTX 按 run/XML 顺序保留表格富文本链接;DOCX 公式表格重建/完整上下文 fallback 保留链接,无效目标保留文字。MinerU 只通过公开接口验收。 DocVortex 519cd623;MinerU 132a7728
#5341 fastapi-offline>=1.7.7,<2,本地文档资源、Bearer 授权、OAuth 代理前缀、关闭时无资源挂载,ReDoc 不请求远程品牌图标。 2ce1df87、329b6250

验收

  • MinerU:18 个相关模块共 485 passed,覆盖服务/Router/异步清理、缓存、CLI、ONNX、Torch、PDF 字符与 Office 公开入口。
  • DocVortex:6 个 Office/公式模块共 74 passed。共享源码当前提交为 519cd623,工作区干净;MinerU Office 集成使用该同一提交。
  • CJK 真实 PDF 比较:源文、修复前缺失标点、修复后回填与框图已逐行查看;8 个新增标点补齐,邻框的“邻”没有串入。产物:output/pdf/cjk-boundary-comparison.pdf、.png。
  • 浏览器禁止非 localhost 请求:Swagger 展示 23 个操作,Bearer 授权的文件查询返回 200;ReDoc 展示 32 个标题;最终两页均无外部资源请求。图片:output/playwright/offline-swagger.png、offline-redoc.png。
  • 真实托管进程冒烟:generation 1 解析 DOCX 后结束该测试进程,Router 重建到 generation 2;新代首次 PPTX 解析成功、链接保留、负载归零,关闭后进程和临时存储已清理。
  • 从独立目录安装 MinerU wheel 与 fastapi-offline 1.7.7 wheel,确认实际导入安装目录,文档入口、JS/CSS/favicon 全部 200。
  • Ruff 与 git diff --check 通过。完整命令输出存于 /tmp/mineru-pr-audit-20261010/。
  • Linux 六轮 1/3 并发性能对照待验收:本机为 macOS,无 Linux 容器运行时;现有 Hugging Face SSH 返回“SSH is only allowed in Dev mode”。本轮未开启 Dev mode 或更改部署。真实 Torch 线程池和配置回归已通过,但不能代替 Linux PDF 的线程数/耗时/RSS/输出验收。
  • 发布集成待办:DocVortex 519cd623 尚未发布。当前最低依赖版本未擅自提高到一个未发布版本;发布包含该提交的版本后,再提高 MinerU 的最低 DocVortex 依赖并验证安装集成。当前 editable 提交验收不代表 PyPI 版本已经包含修复。

Linux 对照步骤

用同一 Linux 主机、同一个 Python 环境、同一 DocVortex 提交与固定 PDF,分别运行CPU 上限修改前的基线(ee8244be,已包含本轮 CJK 修复)和候选 MinerU。先保持 OMP/MKL 配置一致并记录,再测试无显式配置的默认上限;不将两个不同宿主的结果相比较。工具每个进程预热一次,然后交替执行六轮 1/3 并发,记录线程数、耗时、RSS、实际导入的源码路径和 Markdown/Structured Content 哈希。

PYTHONPATH=/path/to/mineru-before /path/to/python /path/to/mineru-after/tools/benchmark_torch_cpu_threads.py --pdf /path/to/fixed.pdf --label before --output /path/to/before.json --require-linux
PYTHONPATH=/path/to/mineru-after /path/to/python /path/to/mineru-after/tools/benchmark_torch_cpu_threads.py --pdf /path/to/fixed.pdf --label after --output /path/to/after.json --require-linux

逐轮核对所有输出哈希、线程数是否趋于稳定、耗时和 RSS 的变化;暂不宣称已达到 Linux 性能验收或获得加速。

保持现状及暂缓

DOCX 仍按分节标记划分语义页面。本轮不增加手动分页符、软分页或排版属性驱动的分页,不支持 Word 自定义编号模板。VLM 布局去重暂不在 MinerU 增加,需要时归 mineru-vl-utils。

  • 5376:保留合法 Markdown 效果;后续拿明确的字面意义丢失样本决定是否仅转义普通文本,结构化列表另行讨论。

  • 4791:U+2060 是合法 WORD JOINER;默认 OCR 字典没有该字符,合成样本不足以证明默认模型故障。待真实输入区分 OCR 输出与原文,暂不全局清理。

  • 5333:保留 read-only openpyxl 多次 .cell() 导致重复 XML 扫描的性能问题。后续验证单次 iter_rows 与尾部空值;内部空值和顺序要保留,SVG 支持另议。

以下 28 个 PR 本轮未评论、未关闭、未修改对应功能:

PR 标题 处理
#5625 Degrade to local layout blocks when VLM output decoding fails mid-window (Refs #5604) 暂缓记录
#5620 feat: add request-level table, formula and image analysis options 暂缓记录
#5575 chore(docker): set compose project name to mineru 暂缓记录
#5563 docs: add AMD GPU installation guide for MinerU 4.x 暂缓记录
#5449 docs: add CONTRIBUTING.md with verification loop, link from CLAUDE.md 暂缓记录
#5447 feat: add request priority scheduling for mineru-api 暂缓记录
#5388 fix(xlsx): preserve images anchored in merged cells 暂缓记录
#5377 fix(vlm): serialize Transformers predictor execution 暂缓记录
#5376 fix(markdown): escape leading block-quote and ordered-list markers in text blocks 暂缓记录
#5366 fix: support filename prefix search 暂缓记录
#5365 fix: support page:last doclib locators 暂缓记录
#5337 feat: add offset pagination to find 暂缓记录
#5333 Fix PPTX chart stalls and render charts as SVG 暂缓记录
#5327 Add VietOCR recognizer for high-accuracy Vietnamese OCR (lang='vi') 暂缓记录
#5197 feat: add async parse pause resume support 暂缓记录
#5161 feat(api): expose async task page progress 暂缓记录
#5143 Add MinerU-Diffusion benchmark harness 暂缓记录
#5128 docs(README): add LightRAG to supported RAG frameworks 暂缓记录
#5097 feat: add CPU-only Docker deployment 暂缓记录
#5052 feat: add optional external VLM visual details enrichment 暂缓记录
#5047 docs: add 'Using SGLang as the Inference Backend' guide (en/zh) 暂缓记录
#5020 feat: add MinIO/S3 image upload support to FastAPI 暂缓记录
#5015 docs: add Japanese README translation 暂缓记录
#4825 feat: implement return_md_pages feature for per-page markdown output 暂缓记录
#4801 feat: add Intel XPU transformers support 暂缓记录
#4791 fix: strip invisible word joiner from OCR output 暂缓记录
#4762 Enhance markdown navigation links and reference formatting 暂缓记录
#4748 Add MinIO round-trip markdown demo 暂缓记录

推送与六个原 PR 的关闭

六项修复已在上文列出的独立提交中完成。推送顺序为 DocVortex main,再 MinerU dev; 仅正常快进推送,不改写远端历史。关闭评论说明当前维护分支已采用上述修复,原 PR 实现 不再合并;不宣称上游发布版或 PyPI 已包含修复。评论 ID、关闭状态及最终核验时间已保存于 六项修复关闭记录。Linux 性能对照和 DocVortex 发布集成仍按上文保留为待办。

六项修复关闭失败项:0。

PR 评论 状态
#5188 6085915135 closed
#5477 6085917018 closed
#5495 6085919084 closed
#5526 6085921045 closed
#5389 6085922869 closed
#5341 6085924832 closed

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 mi/MinerU