VibeThinker-3B, 300배 큰 모델들 제치다 — 단, 수학에서만
sina의 3b vibecheck-3b는 aime26 수학 벤치마크에서 deepseek v3.2와 어깨를 나란히했지만 gpqa 지식 벤치마크에서는 실패하며, 논리가 사실보다 더 잘 압축된다는 사실을 증명했습니다.
시나는 deepseek v3.2 및 kimi k2.5와 맞먹는 3B 매개변수 모델인 vibecheck-3b를 출시했다. aime26 수학 및 livecodebench에서 성능을 입증했으며, 기존 모델보다 333배 더 작은 크기로도 성능을 유지했다. 이 모델은 알리바바의 qwen2.5-coder-3b를 기반으로 하며, 감독된 미세 조정, 수학/코드에 대한 강화 학습 및 자체 증류(self-distillation)를 결합한 다단계 사후 훈련을 통해 성능을 발휘한다. 모델은 gpqa-diamond에서 뒤처지는데, 이는 논리적 추론은 작은 모델로 효율적으로 압축될 수 있지만 광범위한 사실 지식은 여전히 대규모 매개변수를 필요로 한다는 것을 시사한다. 연구진은 후처리 leetcode 콘테스트에서 결과를 검증했으며, 이 모델은 128개의 문제 중 123개를 해결하여 gpt-5.2를 능가하는 성능을 보였다.