跳转至

Hugging Face Xet 依赖设计

上下文

MinerU 在基础安装中暴露 Hugging Face 模型下载。huggingface-hub 0.36.x 计划在受支持的 64 位平台上安装 hf-xet,但其依赖标记省略了 Windows 报告的 AMD64 值。因此,受限于 0.x 系列的环境可能会回退到常规 HTTP,并反复警告 hf_xet 不可用。

决策

在 MinerU 的基础 huggingface-hub 依赖上启用现有的 hf_xet extra:

huggingface-hub[hf_xet]>=0.32.4

这使模型下载行为在基础安装中保持可用,并将兼容的 hf-xet 版本交由 huggingface-hub 处理。将 HF_HUB_DISABLE_XET=1 记录为无法访问 Xet CAS 的网络的显式回退方案。

影响

  • Windows 模型下载可使用 Xet,无需单独安装步骤。
  • 基础安装包含 hf-xet 原生 wheel,包括仅使用 ModelScope 或远程解析的安装。
  • 受支持的主流 64 位平台具有预构建 wheel;不受支持的平台可能需要构建 hf-xet,或者安装失败。
  • 位于不兼容代理后的用户可以禁用 Xet,并保留常规 HTTP 下载。

验证

添加一个项目元数据测试,要求 hf-xet extra,并在发布前解析 Windows x86-64 的项目依赖。

本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 mi/MinerU