DiScoFormer：在單一Transformer中統一密度與得分估計
huggingface發布了discoformer，這是一個無需重新訓練即可跨分佈估計密度和得分的transformer。這將經典方法推廣到了高維度，並支持生成建模和科學模擬的即時適應。
Hugging Face 發表了關於 DiscoFormer 的研究，這是一種變壓器，旨在同時估計數據分佈的密度和分數，而無需重新訓練。該模型使用交叉注意力作為核密度估計的可學習泛化，在高維度中保持準確性，而經典方法在高維度中會失敗。它具有一個共享的骨幹和兩個頭，利用無標籤的一致性損失來立即適應分佈外的數據，而無需真實值。這種方法彌合了靈活的神經網絡和可解釋的經典方法之間的差距，可應用於基於擴散的生成和科學模擬，如等離子體建模。