扩散模型在速度上击败GPT，但智商能否匹配？
字節跳動的8b參數illada擴散模型在基準測試中趕上了qwen2.5，證明了非自回歸架構可以與gpt風格的變換器競爭。
字节跳动和人民大学的研究人员推出了Illada，这是一个从头开始在12万亿个token上训练的8B参数扩散语言模型。在标准基准测试中，基础模型平均得分63.9，略微超过自回归Qwen2.5 7B的63.3。然而，在指令调优后，Illada的得分为67.1，明显落后于Qwen2.5 instruct的77.1，这主要是由于在数学和代码方面的差距。该模型依赖于类似于图像扩散模型的并行双向处理，为标准的逐token生成提供了另一种选择。