混合模型在语义理解上胜出 — 却在复制任务上败北
huggingface 对 olmo hybrid 的研究表明，该架构在预测名词等有意义的 token 方面表现出色，但在机械重复方面不如标准 transformer。
Hugging Face 研究人员比较了 OLMO Hybrid 和 OLMO 3，通过匹配数据和训练来隔离架构差异，发现 Hybrid 模型在预测依赖于不断演变的上下文的 token 方面表现出色，例如代词解析。然而，在需要从输入前面部分逐字回忆的任务中，这种优势几乎消失，而标准 Transformer 的注意力机制在这些任务中占据主导地位。研究结果表明，Hybrid 模型以牺牲查找特定 token 的能力为代价，换取了在长序列上的 superior 效率和推理能力。