Subquadratic 聲稱其 SubQ 模型上下文處理能力是 Transformer 的 12 倍
subquadratic 發布了第三方基準測試，聲稱其 subq 大語言模型擁有比 transformer 模型高出 12 倍的上下文窗口，且成本更低，有望顛覆現有標準架構。
Subquadratic 發布了來自 Appen 的第三方驗證，支持其聲稱 SubQ 解決了 Transformer 密集注意力（dense attention）的數學瓶頸，使模型能夠處理多達 12 倍的上下文，同時只需一小部分計算成本。基準測試表明，SubQ 在特定任務（如編碼）上與 Google DeepMind 和 OpenAI 的領先模型保持競爭性性能，同時顯著提高了效率。如果可擴展，這種架構可能會使行業擺脫自 2017 年以來占主導地位的 Transformer，提供一種可行的路徑，用於分析整個法律文件或代碼庫等龐大數據集，而不會出現通常的計算拖累。