비전 기반 텍스트 인식을 사용한 장면 텍스트 인식-일체 포함-php.cn

장면 텍스트 인식 (STR)은 실제 환경에서 다양한 텍스트 모양으로 인해 연구원들에게 중요한 도전으로 남아 있습니다. 문서에서 텍스트를 인식하는 것은 예를 들어 티셔츠에서 텍스트를 식별하는 것과 다릅니다. ECCV 2022에서 소개 된 장면 텍스트 인식 (MGP-STR) 모델에 대한 다중 부문 예측은 획기적인 접근 방식을 제공합니다. MGP-STR은 VISION 트랜스포머 (VIT)의 견고성을 혁신적인 다중 부문 언어 예측과 결합하여 복잡한 STR 작업을 처리하는 능력을 크게 향상시킵니다. 이로 인해 다양한 실제 시나리오에서 더 높은 정확도와 유용성이 높아져 간단하면서도 강력한 솔루션을 제공합니다.

주요 학습 지점

Vision Transformers (VIT)를 포함한 MGP-STR의 아키텍처 및 구성 요소를 파악하십시오.
다중 부문 예측이 장면 텍스트 인식의 정확성과 적응성을 어떻게 향상시키는 지 이해하십시오.
실제 광학 문자 인식 (OCR) 작업에서 MGP-STR의 실제 응용 프로그램을 살펴보십시오.
장면 텍스트 인식을 위해 Pytorch와 함께 MGP-STR을 구현하고 사용하는 실제 경험을 얻습니다.

*이 기사는 *** Data Science Blogathon의 일부입니다.

mgp-str 란 무엇입니까?

MGP-STR은 별도의 언어 모델이 필요없이 비전 기반 STR 모델입니다. 다중 부문 예측 (MGP) 전략을 사용하여 언어 정보를 아키텍처에 직접 통합합니다. 이 암시 적 접근 방식을 통해 MGP-STR은 순수한 시각적 모델과 언어 강화 방법을 능가하여 최첨단 STR 결과를 달성 할 수 있습니다.

아키텍처는 두 가지 주요 구성 요소로 구성됩니다.

비전 변압기 (VIT)
A³ 모듈

간단하면서도 효과적인 전략을 통한 문자, 서브 워드 및 단어 수준에서 예측의 융합은 MGP-STR이 시각적 및 언어 적 세부 사항을 모두 포착 할 수 있도록합니다.

비전 기반 텍스트 인식을 사용한 장면 텍스트 인식

MGP-STR의 응용 및 사용 사례

MGP-STR은 주로 텍스트 이미지의 OCR 작업을위한 것입니다. 언어 지식을 암시 적으로 통합하는 독특한 능력은 다양한 텍스트와 왜곡 된 텍스트를 가진 실제 시나리오에서 특히 유용합니다. 예제는 다음과 같습니다.

자연 장면 (거리 표지판, 광고판)에서 텍스트를 읽습니다.
스캔 한 양식 및 문서에서 텍스트 추출 (필기 또는 인쇄).
산업 환경에서 텍스트 분석 (제품 레이블, 바코드).
증강 현실 (AR) 응용 프로그램의 텍스트 번역/전사.
스캔 된 문서 또는 인쇄물 사진의 정보 추출.
접근성 솔루션 지원 (스크린 리더).

비전 기반 텍스트 인식을 사용한 장면 텍스트 인식

주요 기능과 이점

독립적 인 언어 모델이 필요하지 않습니다
다중 부문 예측
최신 성과
사용자 친화적입니다

MGP-STR로 시작합니다

이 섹션에서는 샘플 이미지에서 장면 텍스트 인식에 MGP-STR을 사용하는 방법을 보여줍니다. Pytorch, Transformers 라이브러리 및 종속성 (PIL, 요청)이 필요합니다.

1 단계 : 필요한 라이브러리 가져 오기

필수 라이브러리를 가져옵니다 : 모델 처리 용 변압기, 이미지 조작 용 PIL 및 온라인 이미지 가져 오기 요청.

 <code>from transformers import MgpstrProcessor, MgpstrForSceneTextRecognition import requests import base64 from io import BytesIO from PIL import Image from IPython.display import display, Image as IPImage</code>

로그인 후 복사

2 단계 : 미리 훈련 된 모델로드

MGP-STR베이스 모델과 프로세서를 포옹 페이스 트랜스포머를로드하십시오.

 <code>processor = MgpstrProcessor.from_pretrained('alibaba-damo/mgp-str-base') model = MgpstrForSceneTextRecognition.from_pretrained('alibaba-damo/mgp-str-base')</code>

로그인 후 복사

3 단계 : 이미지 처리 및 텍스트 예측 기능

이미지 URL을 입력하고 MGP-STR을 사용하여 처리하고 텍스트 예측을 반환하는 함수를 만듭니다. 이것은 이미지 변환, Base64 인코딩 및 텍스트 디코딩을 처리합니다.

 <code>def predict(url): image = Image.open(requests.get(url, stream=True).raw).convert("RGB") pixel_values = processor(images=image, return_tensors="pt").pixel_values outputs = model(pixel_values) generated_text = processor.batch_decode(outputs.logits)['generated_text'] buffered = BytesIO() image.save(buffered, format="PNG") image_base64 = base64.b64encode(buffered.getvalue()).decode("utf-8") display(IPImage(data=base64.b64decode(image_base64))) print("\n\n") return generated_text</code>

로그인 후 복사

예제 (원본 텍스트의 이미지 URL 사용) :

공간을 절약하기 위해 이미지 URL 및 예측이 포함 된 예제는 여기에서 생략되지만 원본 텍스트와 동일한 구조를 따라 다른 이미지 URL이있는 predict 기능을 호출합니다.

모델의 정확도는 이미지 예제에서 분명합니다. RAM 사용량이 적은 CPU에서 실행되는 효율성이 주목할 만합니다. 이를 통해 도메인 별 작업에 미세 조정에 쉽게 적응할 수 있습니다.

비전 기반 텍스트 인식을 사용한 장면 텍스트 인식

결론

MGP-STRT는 비전과 언어 이해를 효과적으로 결합합니다. 혁신적인 다중 부문 예측은 STR에 대한 포괄적 인 접근 방식을 제공하여 외부 언어 모델없이 정확성과 적응성을 향상시킵니다. 간단하지만 정확한 아키텍처는 OCR 및 STR의 연구원과 개발자에게 귀중한 도구입니다. 오픈 소스 자연은 해당 분야에서 더 많은 발전을 촉진합니다.

자원

Google Collab : [Link] (실제 링크로 교체)
arxiv : [link] (실제 링크로 교체)
github : [link] (실제 링크로 교체)
Huggingface : [Link] (실제 링크로 교체)

핵심 요점

MGP-STR은 별도의 언어 모델없이 비전과 언어를 통합합니다.
다중 부문 예측은 다양한 도전 과제에서 성능을 향상시킵니다.
MGP-STR은 간단한 아키텍처로 최첨단 결과를 달성합니다.
다양한 OCR 작업에 쉽게 적응할 수 있습니다.

자주 묻는 질문

Q1 : MGP-STR이란 무엇이며 기존 STR 모델과 어떻게 다릅니 까? A1 : MGP-STR은 언어 예측을 MGP를 사용하여 비전 기반 프레임 워크에 직접 통합하여 전통적인 방법에서 발견되는 별도의 언어 모델이 필요하지 않습니다.
Q2 : MGP-STR을 훈련시키는 데 어떤 데이터 세트가 사용 되었습니까? A2 : 기본 모델은 Mjsynth 및 SynthText에서 교육을 받았습니다.
Q3 : MGP-STR이 왜곡 또는 저품질 텍스트 이미지를 처리 할 수 있습니까? A3 : 그렇습니다. 다중 부문 예측 메커니즘으로 인해 그러한 과제를 처리 할 수 있습니다.
Q4 : MGP-STR은 영어 이외의 언어에 적합합니까? A4 : 영어에 최적화되었지만 적절한 교육 데이터를 사용하여 다른 언어에 적응할 수 있습니다.
Q5 : A³ 모듈은 MGP-STR의 성능에 어떻게 기여합니까? A5 : A³ 모듈은 VIT 출력을 개선하여 서브 워드 레벨 예측을 가능하게하고 언어 정보를 포함시킵니다.