文本退化引發推理瓶頸
huggingface的研究表明，文本退化是自回歸模型的一種結構性故障，導致極少數請求消耗了近一半的總推理時間。
研究人員發現，請求觸及最大 token 限制並展現 n-gram 重複模式，極大地增加了推理延遲。諸如重複懲罰或溫度調整等標準修復方法是不夠的，因為它們未能解決根本原因：模型的訓練目標。最大似然估計（Maximum-likelihood estimation）優化了立即的下一個 token 概率，而不考慮整體序列質量，使得模型容易陷入無限循環，永遠不會發出序列結束的 token。