MinerU PR 处理记录:2026-10-10¶
本轮范围为原审查的 54 个开放 PR:前 20 个已评论并关闭;另外 6 个问题已修复、推送,对应原 PR 亦已评论并关闭;28 个暂缓。
用户已授权推送六项修复并关闭对应原 PR。MinerU 推送到 myhloli/Magic-PDF 的 dev 分支,DocVortex 推送到 myhloli/DocVortex 的 main 分支;暂缓 PR 不发表评论。未自动合并或发布版本,原有未跟踪 examples/ 保留。
关闭结果¶
失败项:0。评论 ID、URL、逐项关闭原因和最终核验时间保存于 关闭记录 JSON。
| PR | 原因 | 评论 ID | 最终状态 |
|---|---|---|---|
| #5490 | 当前 DocVortex 已按字形来源保护连字展开,旧字符去重实现已移除。 | 6084772277 | closed |
| #5424 | 对应渲染测试已迁到 DocVortex,其测试依赖已经包含 Markdown。 | 6084774355 | closed |
| #5420 | 当前基础依赖已移除 OpenCV,不再需要替换为 headless 包。 | 6084776289 | closed |
| #5402 | 输出文档已按新协议重写,原错误图片引用已经不存在。 | 6084778495 | closed |
| #5382 | 当前支持的 MLX 版本已升级,不继续维护旧版解码器运行时补丁。 | 6084780522 | closed |
| #5364 | 当前共享 Markdown renderer 已处理普通文本中的 HTML 标签转义。 | 6084782471 | closed |
| #5354 | 当前运行时已有窗口及文档结束时的显式堆回收能力。 | 6084784530 | closed |
| #5335 | 当前实现已经覆盖文档结束后的可选堆回收,此实现重复。 | 6084786434 | closed |
| #5261 | 当前 V1 API 已提供具体响应模型,旧 API 实现已移除。 | 6084788503 | closed |
| #5240 | 被修改的旧多桶 S3 reader/writer 已移除,不适用于当前版本。 | 6084790442 | closed |
| #5208 | 旧模型路径配置写回流程已移除,当前模型 registry 不经过该函数。 | 6084792343 | closed |
| #5184 | 当前相关安装示例已经加引号或改写。 | 6084794422 | closed |
| #5119 | 当前没有 albumentations 调用,HF 依赖已包含 hf_xet extra。 | 6084796404 | closed |
| #5107 | 当前使用明确的 concurrency 配置,macOS 已能按配置运行。 | 6084798343 | closed |
| #5136 | 当前已有公开 parser/kit 接口,此旧 SDK 实现不兼容并重复现有能力。 | 6084800349 | closed |
| #5441 | 当前对应 Advanced 的 VLM 布局;暂不在 MinerU 添加去重,后续需要时应由 mineru-vl-utils 处理。 | 6084802167 | closed |
| #5412 | 当前不计划支持 Word 自定义编号模板,以控制列表模型及渲染复杂度。 | 6084804045 | closed |
| #5270 | 当前不恢复 Word 编号模板及计数,标题编号维持既有语义规则。 | 6084805942 | closed |
| #5369 | DOCX 按流式语义文档处理,维持分节分页,不增加手动分页符或排版属性驱动的分页。 | 6084807744 | closed |
| #5607 | 问题已在维护分支 dev 通过负载调度和上传轮转解决(提交 e61475184757d3fe02aa1dd74b935493ce721f92),此替代实现关闭。此处指维护分支实现,不代表上游发布版已经包含。 | 6084809761 | closed |
六项修复与提交¶
实现基线:MinerU dev e61475184757d3fe02aa1dd74b935493ce721f92;DocVortex main 896daf3d702ca8f6a9a945f6171c31d855b5eab3。原 PR 的旧路径实现未直接合并。
| PR | 当前实现 | 本地提交 |
|---|---|---|
| #5188 | 异常类型/链识别、引擎死亡锁定、503/engine_dead、排队失败、取消清理、单 generation 替换及退避、失败快照与迟到响应保护。 | c92834be、6a5e7b2d、aa30e087 |
| #5477 | Torch 初始化边界及后续工作线程传播,配置优先级、有效 CPU 配额和已有更低上限保护;Linux 对照工具。 | ae2f957e、26c31974、7b19a73a |
| #5495 | 默认 24h/0 禁用、300s 扫描、终态和产物 TTL、CAS 输入/预检/写入/下载保护、源缓存与路由回收、目录锁、累计用量保留。 | 56f90f98、badb8cee、143077ef |
| #5526 | 仅补 5 个行尾标点及 3 个行首标点,Python 与原生快照统一传递规则;真实 PDF 边界与邻框归属。 | ee8244be |
| #5389 | PPTX 按 run/XML 顺序保留表格富文本链接;DOCX 公式表格重建/完整上下文 fallback 保留链接,无效目标保留文字。MinerU 只通过公开接口验收。 | DocVortex 519cd623;MinerU 132a7728 |
| #5341 | fastapi-offline>=1.7.7,<2,本地文档资源、Bearer 授权、OAuth 代理前缀、关闭时无资源挂载,ReDoc 不请求远程品牌图标。 | 2ce1df87、329b6250 |
验收¶
- MinerU:18 个相关模块共 485 passed,覆盖服务/Router/异步清理、缓存、CLI、ONNX、Torch、PDF 字符与 Office 公开入口。
- DocVortex:6 个 Office/公式模块共 74 passed。共享源码当前提交为
519cd623,工作区干净;MinerU Office 集成使用该同一提交。 - CJK 真实 PDF 比较:源文、修复前缺失标点、修复后回填与框图已逐行查看;8 个新增标点补齐,邻框的“邻”没有串入。产物:
output/pdf/cjk-boundary-comparison.pdf、.png。 - 浏览器禁止非 localhost 请求:Swagger 展示 23 个操作,Bearer 授权的文件查询返回 200;ReDoc 展示 32 个标题;最终两页均无外部资源请求。图片:
output/playwright/offline-swagger.png、offline-redoc.png。 - 真实托管进程冒烟:generation 1 解析 DOCX 后结束该测试进程,Router 重建到 generation 2;新代首次 PPTX 解析成功、链接保留、负载归零,关闭后进程和临时存储已清理。
- 从独立目录安装 MinerU wheel 与 fastapi-offline 1.7.7 wheel,确认实际导入安装目录,文档入口、JS/CSS/favicon 全部 200。
- Ruff 与 git diff --check 通过。完整命令输出存于
/tmp/mineru-pr-audit-20261010/。 - Linux 六轮 1/3 并发性能对照待验收:本机为 macOS,无 Linux 容器运行时;现有 Hugging Face SSH 返回“SSH is only allowed in Dev mode”。本轮未开启 Dev mode 或更改部署。真实 Torch 线程池和配置回归已通过,但不能代替 Linux PDF 的线程数/耗时/RSS/输出验收。
- 发布集成待办:DocVortex 519cd623 尚未发布。当前最低依赖版本未擅自提高到一个未发布版本;发布包含该提交的版本后,再提高 MinerU 的最低 DocVortex 依赖并验证安装集成。当前 editable 提交验收不代表 PyPI 版本已经包含修复。
Linux 对照步骤¶
用同一 Linux 主机、同一个 Python 环境、同一 DocVortex 提交与固定 PDF,分别运行CPU 上限修改前的基线(ee8244be,已包含本轮 CJK 修复)和候选 MinerU。先保持 OMP/MKL 配置一致并记录,再测试无显式配置的默认上限;不将两个不同宿主的结果相比较。工具每个进程预热一次,然后交替执行六轮 1/3 并发,记录线程数、耗时、RSS、实际导入的源码路径和 Markdown/Structured Content 哈希。
PYTHONPATH=/path/to/mineru-before /path/to/python /path/to/mineru-after/tools/benchmark_torch_cpu_threads.py --pdf /path/to/fixed.pdf --label before --output /path/to/before.json --require-linux
PYTHONPATH=/path/to/mineru-after /path/to/python /path/to/mineru-after/tools/benchmark_torch_cpu_threads.py --pdf /path/to/fixed.pdf --label after --output /path/to/after.json --require-linux
逐轮核对所有输出哈希、线程数是否趋于稳定、耗时和 RSS 的变化;暂不宣称已达到 Linux 性能验收或获得加速。
保持现状及暂缓¶
DOCX 仍按分节标记划分语义页面。本轮不增加手动分页符、软分页或排版属性驱动的分页,不支持 Word 自定义编号模板。VLM 布局去重暂不在 MinerU 增加,需要时归 mineru-vl-utils。
-
5376:保留合法 Markdown 效果;后续拿明确的字面意义丢失样本决定是否仅转义普通文本,结构化列表另行讨论。¶
-
4791:U+2060 是合法 WORD JOINER;默认 OCR 字典没有该字符,合成样本不足以证明默认模型故障。待真实输入区分 OCR 输出与原文,暂不全局清理。¶
-
5333:保留 read-only openpyxl 多次
.cell()导致重复 XML 扫描的性能问题。后续验证单次 iter_rows 与尾部空值;内部空值和顺序要保留,SVG 支持另议。¶
以下 28 个 PR 本轮未评论、未关闭、未修改对应功能:
| PR | 标题 | 处理 |
|---|---|---|
| #5625 | Degrade to local layout blocks when VLM output decoding fails mid-window (Refs #5604) | 暂缓记录 |
| #5620 | feat: add request-level table, formula and image analysis options | 暂缓记录 |
| #5575 | chore(docker): set compose project name to mineru | 暂缓记录 |
| #5563 | docs: add AMD GPU installation guide for MinerU 4.x | 暂缓记录 |
| #5449 | docs: add CONTRIBUTING.md with verification loop, link from CLAUDE.md | 暂缓记录 |
| #5447 | feat: add request priority scheduling for mineru-api | 暂缓记录 |
| #5388 | fix(xlsx): preserve images anchored in merged cells | 暂缓记录 |
| #5377 | fix(vlm): serialize Transformers predictor execution | 暂缓记录 |
| #5376 | fix(markdown): escape leading block-quote and ordered-list markers in text blocks | 暂缓记录 |
| #5366 | fix: support filename prefix search | 暂缓记录 |
| #5365 | fix: support page:last doclib locators | 暂缓记录 |
| #5337 | feat: add offset pagination to find | 暂缓记录 |
| #5333 | Fix PPTX chart stalls and render charts as SVG | 暂缓记录 |
| #5327 | Add VietOCR recognizer for high-accuracy Vietnamese OCR (lang='vi') | 暂缓记录 |
| #5197 | feat: add async parse pause resume support | 暂缓记录 |
| #5161 | feat(api): expose async task page progress | 暂缓记录 |
| #5143 | Add MinerU-Diffusion benchmark harness | 暂缓记录 |
| #5128 | docs(README): add LightRAG to supported RAG frameworks | 暂缓记录 |
| #5097 | feat: add CPU-only Docker deployment | 暂缓记录 |
| #5052 | feat: add optional external VLM visual details enrichment | 暂缓记录 |
| #5047 | docs: add 'Using SGLang as the Inference Backend' guide (en/zh) | 暂缓记录 |
| #5020 | feat: add MinIO/S3 image upload support to FastAPI | 暂缓记录 |
| #5015 | docs: add Japanese README translation | 暂缓记录 |
| #4825 | feat: implement return_md_pages feature for per-page markdown output | 暂缓记录 |
| #4801 | feat: add Intel XPU transformers support | 暂缓记录 |
| #4791 | fix: strip invisible word joiner from OCR output | 暂缓记录 |
| #4762 | Enhance markdown navigation links and reference formatting | 暂缓记录 |
| #4748 | Add MinIO round-trip markdown demo | 暂缓记录 |
推送与六个原 PR 的关闭¶
六项修复已在上文列出的独立提交中完成。推送顺序为 DocVortex main,再 MinerU dev; 仅正常快进推送,不改写远端历史。关闭评论说明当前维护分支已采用上述修复,原 PR 实现 不再合并;不宣称上游发布版或 PyPI 已包含修复。评论 ID、关闭状态及最终核验时间已保存于 六项修复关闭记录。Linux 性能对照和 DocVortex 发布集成仍按上文保留为待办。
六项修复关闭失败项:0。
| PR | 评论 | 状态 |
|---|---|---|
| #5188 | 6085915135 | closed |
| #5477 | 6085917018 | closed |
| #5495 | 6085919084 | closed |
| #5526 | 6085921045 | closed |
| #5389 | 6085922869 | closed |
| #5341 | 6085924832 | closed |
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 mi/MinerU