DeepSeek-V4, 에이전트 워크로드의 긴 컨텍스트 비용 90% 절감
DeepSeek-V4는 하이브리드 어텐션 메커니즘 CSA와 HCA로 에이전트 실패를 해결합니다. V4-Pro는 1M 토큰 컨텍스트에서 V3.2 대비 KV 캐시 메모리의 10%, 추론 FLOPs의 27%를 사용합니다. V4-Flash는 메모리가 7%로 더 낮아집니다. 이 아키텍처는 FP4 인덱싱과 FP8 스토리지를 사용해 재프롬프트 없이 긴 도구 사용 궤적을 처리합니다.
DeepSeek은 긴 문맥 에이전틱 워크플로우에 최적화된 모델 아키텍처인 V4를 출시했다. 압축 희소 주의(CSA, Compressed Sparse Attention)와 고도로 압축된 주의(HCA, Heavily Compressed Attention)를 도입하여 추론 비용을 줄였다. V3.2와 비교하여 V4-Pro는 1M 토큰에서 27%의 단일 토큰 추론 FLOPs와 10%의 KV 캐시 메모리를 사용한다. V4-Flash는 이러한 수치를 FLOPs 10% 및 메모리 7%로 줄였다. 이러한 효율성은 4배 및 128배 압축 비율, FP4 인덱싱 및 FP8 저장소에서 비롯된다.