Hugging Face、Falcon PerceptionとOCRをリリース
Hugging Faceは、ビジョンタスク向けの統合トランスフォーマーアーキテクチャ「Falcon Perception」と、0.3Bパラメータのモデル「Falcon OCR」をリリースした。Falcon OCRはolmOCRで80.3、OmniDocBenchで88.6を記録し、オープンソースOCRモデルの中で最高のスループットを達成。このアーキテクチャはearly fusionとchain-of-perceptionを使用し、モジュール式パイプラインなしで密な予測を処理する。
Hugging Faceは、Falcon OCRとともに、知覚タスクのためのオープンソースの早期フュージョンTransformerアーキテクチャであるFalcon Perceptionをリリースした。Falcon OCRは、0.3Bパラメータのモデルで、olmOCRベンチマークで80.3、OmniDocBenchで88.6のスコアを達成した。Hugging Faceは、このモデルが現在利用可能なオープンソースのOCRモデルの中で最高のスループットを提供すると述べている。
Falcon Perceptionアーキテクチャは、モジュラー・パイプラインを単一の自己回帰的バックボーンに置き換える。ハイブリッド・アテンション・マスクを使用し、画像トークンは双方向にアテンションし、テキスト・トークンは因果的にアテンションする。システムは、「Chain-of-Perception」手法を使用して、密集した予測を座標、サイズ、セグメンテーション・マスクの3つの連続したステップに分解する。