Hugging Face Xet 依赖设计¶
上下文¶
MinerU 在基础安装中暴露 Hugging Face 模型下载。huggingface-hub 0.36.x 计划在受支持的 64 位平台上安装 hf-xet,但其依赖标记省略了 Windows 报告的 AMD64 值。因此,受限于 0.x 系列的环境可能会回退到常规 HTTP,并反复警告 hf_xet 不可用。
决策¶
在 MinerU 的基础 huggingface-hub 依赖上启用现有的 hf_xet extra:
这使模型下载行为在基础安装中保持可用,并将兼容的 hf-xet 版本交由 huggingface-hub 处理。将 HF_HUB_DISABLE_XET=1 记录为无法访问 Xet CAS 的网络的显式回退方案。
影响¶
- Windows 模型下载可使用 Xet,无需单独安装步骤。
- 基础安装包含
hf-xet原生 wheel,包括仅使用 ModelScope 或远程解析的安装。 - 受支持的主流 64 位平台具有预构建 wheel;不受支持的平台可能需要构建
hf-xet,或者安装失败。 - 位于不兼容代理后的用户可以禁用 Xet,并保留常规 HTTP 下载。
验证¶
添加一个项目元数据测试,要求 hf-xet extra,并在发布前解析 Windows x86-64 的项目依赖。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 mi/MinerU