テキスト退化が推論のボトルネックを引き起こす
huggingfaceの研究により、テキスト退化は自己回帰型モデルにおける構造的な障害であると特定され、わずかな数のリクエストが推論時間全体のほぼ半分を消費していることが明らかになった。
研究者らは、最大トークン制限に到達するリクエストや、n-gramの繰り返しパターンを示すリクエストは、推論レイテンシが大幅に増加することを発見した。 繰り返しペナルティや温度調整などの標準的な修正は、モデルの学習目的という根本原因に対処していないため、不十分である。 最尤推定は、シーケンス全体の品質を考慮せずに、直近のトークンの確率を最適化するため、モデルはシーケンス終了トークンを発行しない無限ループを起こしやすい。