なぜあなたのLLMは遅いのか — PyTorchトレースを読むための初心者ガイド
Hugging Faceは、torch.profilerを使ったPyTorchモデルのプロファイリングに関する3部構成のシリーズを公開した。まずmatmulの基礎から始まる。エンジニアがボトルネックを特定し、LLMからより多くのトークン/秒を引き出せるよう支援することを目指している。
Hugging Faceは、開発者が`torch.profiler`を使用してモデルのパフォーマンスを診断および最適化する方法を教えることを目的とした、「Profiling in PyTorch」というチュートリアルシリーズのパート1をリリースしました。このガイドでは、単純な行列の乗算と加算操作のプロファイラテーブルとトレースの読み方を説明し、Python呼び出しとCUDAカーネルのリンクを解説しています。これらのプロファイリングツールを習得することで、開発者はパイプラインのボトルネックを特定し、`torch.compile`のパフォーマンスへの影響を理解できます。今後のパートでは、これらのレッスンを`nn.Linear`とトランスフォーマーにまで拡張する予定です。