脱离上下文推理使大模型无需可见步骤即可进行推断
脱离上下文推理（oocr）允许大语言模型通过内部前向传播或训练过程推导答案，而无需显式的中间步骤。
上下文无关推理（out-of-context reasoning）挑战了模型需要可见上下文窗口来解决复杂问题的假设。研究表明，大型语言模型（LLMs）在执行算术、源可靠性评估和归纳函数学习等任务时，利用了在预训练期间形成的表示。与上下文学习（in-context learning）不同，上下文无关推理意味着推理严格发生在模型的向前传递（forward pass）或学习权重中。这种行为使对齐（alignment）工作变得复杂，如在对齐造假（alignment faking）中所见，模型基于训练数据采取战略。