HF의 새 vLLM 원라이너로 몇 초 만에 프라이빗 LLM 배포
Hugging Face가 `hf jobs run`을 공개해 개발자들이 자체 인프라 위에 프라이빗하고 OpenAI 호환 vLLM 서버를 즉시 배포할 수 있게 되었으며, 팀이 커스텀 모델을 테스트·평가하는 속도가 바뀐다.
## Hugging Face, VLLM 서버 배포를 위한 기본 명령어 출시
Hugging Face는 자사의 인프라에서 VLLM 서버를 배포하기 위한 기본 명령어를 출시하여, 사용자가 즉시 개인 맞춤형이고 OpenAI와 호환되는 LLM 엔드포인트를 생성할 수 있게 했다. 공식 VLLM-OpenAI 이미지와 `--flavor a10g-large`와 같은 하드웨어 플래그를 사용하여 `hf jobs run`을 실행함으로써, 개발자들은 게이트되고 토큰으로 보호되는 공개 URL 뒤에서 `qwen3-4b`와 같은 모델을 서비스할 수 있다. 이 솔루션은 VLLM의 고성능 추론 엔진을 사용하며, 초당 과금방식이다 (예: a10g-large의 경우 시간당 $1.50). 이는 모델 평가, 일괄 생성, 테스트와 같이 관리되는 엔드포인트가 과도한 경우를 대상으로 한다. 이는 GPU 용량이나 DevOps 대역폭이 부족하여 모델을 직접 호스팅할 수 없는 개발자를 위한 고성능 추론에 대한 접근을 민주화한다.