DiScoFormer、密度とスコア推定を単一のトランスフォーマーで統合
huggingfaceがdiscoformerをリリース。再訓練なしで分布全体の密度とスコアの両方を推定できるトランスフォーマーだ。古典的手法を高次元へ一般化し、生成モデリングや科学シミュレーション向けのリアルタイム適応を可能にする。
Hugging Faceは、**DiscoFormer**に関する研究を発表した。これは、再学習せずにデータ分布の密度とスコアを同時に推定するように設計されたトランスフォーマーである。このモデルは、クロスアテンションをカーネル密度推定の学習可能な一般化として使用し、従来の手法が失敗する高次元においても精度を維持する。モデルは2つのヘッドを持つ共有バックボーンを特徴としており、ラベルなしの一貫性損失を利用して、基底真実なしで分布外データに即座に適応する。このアプローチは、柔軟なニューラルネットワークと解釈可能な従来の手法とのギャップを埋め、拡散ベースの生成やプラズマモデリングのような科学シミュレーションに応用できる。