Hugging Face, Falcon Perception 및 OCR 출시
hugging face가 비전 작업을 위한 통합 트랜스포머 아키텍처인 falcon perception과 0.3b 파라미터 모델인 falcon ocr을 출시했습니다. falcon ocr은 olmocr에서 80.3점, omnidocbench에서 88.6점을 기록하며 모든 오픈 소스 ocr 모델 중 최고 처리량을 달성했습니다. 이 아키텍처는 early fusion과 chain-of-perception을 사용해 모듈식 파이프라인 없이 밀집 예측을 처리합니다.
허깅 페이스(Hugging Face)는 Falcon OCR과 함께 인식 작업을 위한 오픈 소스 조기 융합 트랜스포머 아키텍처인 Falcon Perception을 출시했다. Falcon OCR은 0.3B 매개변수가 있는 모델로 olmOCR 벤치마크에서 80.3점, OmniDocBench에서 88.6점을 획득했다. 허깅 페이스는 이 모델이 현재 사용 가능한 오픈 소스 OCR 모델 중 가장 높은 처리량을 제공한다고 밝혔다.
Falcon Perception 아키텍처는 모듈식 파이프라인을 선호하지 않고 단일 자동 회귀 백본을 사용한다. 이 아키텍처는 이미지 토큰이 양방향으로 참석하고 텍스트 토큰이 인과적으로 참석하는 하이브리드 주의 마스크를 사용한다. 이 시스템은 밀집 예측을 좌표, 크기 및 세분화 마스크의 세 가지 순차적 단계로 분해하기 위해 'Chain-of-Perception' 방법을 사용한다.