Parse-server 模型预加载¶
背景¶
本地 parse-server 当前只要其 HTTP 路由可用就会通告各层级。Basic 和 Standard 模型由其 Singleton 缓存惰性初始化,因此在所选设备、推理引擎和模型文件通过实际初始化得到验证之前,服务器就可能将某一层级报告为健康状态。
设计¶
默认情况下,SDK、一次性解析器调用和自托管 parse-server 继续使用惰性加载。使用 --preload-models 启动的 parse-server 会在 FastAPI 生命周期开始处理请求之前,准备其配置的启动层级。Doclib 托管的 parse-server 始终传入该选项,以便在接受工作前验证其通告的模型。预加载实现保留在 api_server.py 内部,因为它是服务器启动的一部分,而非可复用的模型管理 API。
- Basic 准备共享的本地 Hybrid 模型上下文,以及否则会一直保持惰性直到解析到匹配文档的条件性表格/印章模型族。
- Standard 准备平台选择的异步 VLM 引擎和本地 Hybrid 模型上下文,因为它通告 Basic、Standard 和 Advanced 请求层级。
- 准备过程使用现有的 Singleton 工厂,因此成功加载的模型会被首次解析复用。
- Flash 忽略
--preload-models,因为它没有本地模型。 - 模型预加载失败后,健康检查、模型/层级通告和任务提交将返回结构化的 503。文档中记录的成功健康响应模式保持不变。
- 托管监督会在启动宽限期后记录日志,应用单独的硬性启动超时,并且不会重启确定性的依赖、模型文件或设备故障。未分类的预加载失败使用有界重启策略。
这有意避免仅针对 CUDA 的预检。所选生产运行时在 CPU、CUDA、MLX、MPS、NPU 及其他受支持环境中仍然具有权威性。
本页原文 Markdown:在 AtomGit 查看·内容源自开源项目 mi/MinerU