Transformers.js v4 출시, C++ WebGPU 런타임과 4배 BERT 속도 향상
huggingface가 transformers.js v4를 공개했습니다. c++로 재작성된 webgpu 런타임을 특징으로 하며 node, bun, deno에서 로컬 추론이 가능해졌습니다. 이번 업데이트는 모노레포 구조를 도입하고, 8,000줄짜리 모델 파일을 모듈로 분할했으며, gpt-oss, mamba, mixture of experts 아키텍처 지원을 추가했습니다. 벤치마크 결과 bert 기반 임베딩 모델에서 4배의 속도 향상이 나타났습니다.
허깅 페이스(Hugging Face)는 Transformers.js v4를 출시하며, 고성능 로컬 추론을 가능하게 하는 C++로 완전히 재작성된 WebGPU 런타임을 도입했다. 새로운 런타임은 `com.microsoft.GroupQueryAttention` 및 `com.microsoft.MatMulNBits`와 같은 ONNX Runtime Contrib Operators를 활용하여 실행을 가속화하고 BERT 기반 임베딩 모델의 경우 4배의 속도 향상을 달성했다. 이 업데이트는 브라우저를 넘어 Node.js, Bun 및 Deno와 같은 서버 측 환경에 대한 지원을 확장한다.
출시에는 주요 코드베이스 구조 조정이 포함되어 단일 패키지에서 pnpm 기반 모노레포로 전환하여 하위 패키지를 보다 효과적으로 관리할 수 있게 되었다. 개발자는 또한 이전에 8,000 라인 이상이었던 모놀리딕 `models.js` 파일을 집중적이고 유지 관리 가능한 모듈로 리팩토링했다. 또한 라이브러리는 GPT-OSS, Mamba 및 Mixture-of-Experts(MoE)와 같은 고급 아키텍처에 대한 지원을 추가했다.