Hugging Face 集成 Ulysses 序列并行技术以支持长上下文训练
hugging face 将 ulysses 序列并行技术集成到 accelerate、transformers 和 trl 中。该技术由 snowflake ai research 开发，通过在多个 gpu 上分配注意力计算，支持百万级令牌上下文的训练。与 ring attention 相比，它利用 all-to-all 集合通信降低了通信开销。
Hugging Face 将由Snowflake AI Research开发的Ulysses Sequence Parallelism整合到其Accelerate、Transformers Trainer和TRL库中。这种方法通过在GPU之间划分序列和注意力头来解决变换器中注意力的二次缩放问题。通过将通信量保持在 O(n*d/P) 而不是 Ring Attention 的 O(n*d)，它实现了对长上下文（32k+ tokens）的有效训练。集成使用全到全的集体操作来交换序列局部性以获取头部局部性，确保比序列化点到点传输具有更低的延迟。