擴散模型在速度上擊敗GPT，但智商能否匹配？
字節跳動的8b參數illada擴散模型在基準測試中趕上了qwen2.5，證明了非自回歸架構可以與gpt風格的變換器競爭。
來自位元組跳動和人民大學的研究人員介紹了 Illada，一個具有80億參數的擴散語言模型，該模型從頭開始在12萬億個 token 上訓練。在標準基準測試中，基礎模型獲得了63.9的平均分數，略微領先於自回歸的 Qwen2.5 7B 的63.3。然而，在指令調優後，Illada 的得分為67.1，顯著落後於 Qwen2.5 instruct 的77.1，這是由於數學和程式碼方面的差距。該模型依賴於類似於圖像擴散模型的並行雙向處理，提供了替代標準逐 token 生成的方法。