HF 新增 vLLM 一键部署，私有 LLM 上线仅需秒级

Hugging Face 发布了一条本地命令，以在其基础设施上部署 VLLM 服务器，允许用户立即启动私有、与 OpenAI 兼容的 LLM 端点。通过使用官方的 `vllm-openai` 镜像和硬件标志（如 `--flavor a10g-large`）运行 `hf jobs run`，开发人员可以在一个受保护的、基于令牌的公开 URL 后提供诸如 `qwen3-4b` 等模型。该解决方案使用 VLLM 的高性能推理引擎，按秒计费（例如，`a10g-large` 为 1.50 美元/小时），针对模型评估、批量生成和测试等用例，这些用例中托管端点有些过度。该解决方案使缺乏 GPU 容量或 DevOps 带宽来托管模型本身的开发人员能够民主化地访问高性能推理。