Hugging Face、長コンテキスト学習向けにUlyssesシーケンス並列を統合
Hugging FaceがUlyssesシーケンス並列をAccelerate、Transformers、TRLに統合。Snowflake AI Researchが開発したこの手法は、attention計算を複数GPUに分散することで100万トークンのコンテキスト学習を可能にする。all-to-allコレクティブを活用することで、Ring Attentionと比較して通信オーバーヘッドを削減する。
Hugging Faceは、Snowflake AI Researchによって開発されたUlysses Sequence Parallelismを、Accelerate、Transformers Trainer、およびTRLライブラリに統合した。この手法は、トランスフォーマーにおける注意の2次スケーリングに対処するために、シーケンスと注意ヘッドの両方をGPU間で分割する。これにより、通信量をRing AttentionのO(n*d)と比較してO(n*d/P)に保ち、長いコンテキスト（32k+トークン）での効率的なトレーニングが可能になる。統合では、すべてのGPU間でのコレクティブオペレーションを利用して、シーケンスの局所性をヘッドの局所性と交換し、シリアライズされたポイントツーポイント転送よりも低いレイテンシを保証する。