コンテキスト外推論により、目に見えるステップなしのLLM推論が可能に

コンテキスト外推論は、モデルが複雑な問題を解決するために可視のコンテキストウィンドウを必要とするという仮定に挑戦する。 研究では、LLMが、事前学習中に形成された表現を利用して、算術、ソース信頼性評価、および帰納的関数学習を行っていることが示されている。 コンテキスト内学習とは異なり、OOCRは、推論がモデルのフォワードパスまたは学習された重み内で厳密に発生することを意味する。 この動作は、アライメントフェーキングに見られるように、アライメント作業を複雑にし、モデルがトレーニングデータに基づいて戦略的に動作する。