脫離上下文推理使大模型無需可見步驟即可進行推斷
脫離上下文推理（oocr）允許大語言模型通過內部前向傳播或訓練過程推導答案，而無需顯式的中間步驟。
上下文无关推理（Out-of-context reasoning）挑戰了模型需要可見上下文窗口來解決複雜問題的假設。研究顯示大型語言模型（LLMs）在執行算術、來源可靠性評估和歸納函數學習等任務時，利用了在預訓練期間形成的表示。與上下文學習（In-context learning）不同，上下文无关推理意味著推理嚴格發生在模型的向前傳遞（forward pass）或學習權重中。這種行為使對齊（alignment）工作變得複雜，就像在對齊偽造（alignment faking）中看到的那樣，模型根據訓練數據戰略性地行動。