Text Detection 소개

1. Basics

1.1일반 객체 영역 검출 vs글자 영역 검출

- 일반 객체 검출: 클래스와 위치를 예측하는 문제

- 글자 검출: “Text”라는 단일 클래스 -> 위치만 예측하는 문제

 

 

1.2 글자 영역 표현법

 

1) 사각형 종류들

2) 다각형 (Polygon)

Arbitrary-shaped text를 주로 다루는 최근의 벤치마크들에 적합 일반적으로 2N points를 이용하고, 상하 점들이 쌍을 이루도록 배치 (위의 두 점과 쌍이 되는 아래의 두 점을 잡으면 특정 글자 영역이 되도록)

 

2. Taxonomy

2.1Regression-basedvsSegmentation-based

Regression방식과 Segmentation 방식이 있다

1) Regression-based

SSD를 활용하여 Anchor Boxes를 사용하여 글자 영역을 추출한다

- Arbitrary-shaped text -> 불필요한 영역을 포함 (Bounding box 표현 방식의 한계, 사각형의 영역만 사용하게되어 인식 저하)

- Extreme aspect ratio -> Bounding box 정확도 하락 (Receptive field의 한계)

2) Segmentation-based

이미지를 입력 받아 글자 영역 표현값들에 사용되는 화소 단위 정보를 뽑고, 후처리를 통해서 최종 글자 영역 표현 값들을 확보!

- 복잡하고 시간이 오래 걸리는 post-processing이 필요할 수 있음.

- 서로 간섭이 있거나 인접한 개체 간의 구분이 어려움

 

 

3) Hybrid

Regression-based로 대략의 사각영역 + Segmentation-based로 해당 영역에서 화소 정보 추출

 

2.2 Character-basedvsWord-based

Character-Based Methods

- Character 단위로 검출하고 이를 조합해서 word instance를 예측 Character-level GT 필요

 

Word-Based Methods

- Word 단위로 예측

- 대부분의 모델이 해당

3. BaselineModel- EAST

EAST:AnEfficientandAccurateSceneTextDetector.CVPR,2017

처음으로 Software2.0 버전을 사용한 모델로 빠른속도와 end to end train을 한다

- score map: 글자 영역 중심에 해당하는지 

- geometry map: 어떤 화소가 글자 영역이라면 해당 Bounding bo의 위치는 어디인지

 

1) 모델구조

FCN(Fully convolutional network)

크게 3가지로 구성되어있다

- Feature extractor stem(backbone) 특징추출

- Feature merging branch (Unpool로 크기 맞추고 concat)

- Output: H/4 x W/4 x C maps

 

2) Output

scoremap은 글자 영역 중심에 해당하는지 H/4 x W/4 x 1binary map - 글자 영역의 중심이면 1, 배경이면 0 

GT bounding box를 줄여서 생성 (글자높이의 30%만큼 end points를 안쪽으로 이동)

 

Geometry Map은 어떤 화소가 글자 영역이라면 해당 Bounding box의 위치는 어디인지 RBOX (rotated box, 직사각형+각도) 형식: 회전 각도 예측 -> 1 channel

Bounding box의 4개 경계선까지의 거리를 예측 -> 4 channels

 

3) Inference

Post-processing: RBOX 기준

4) Locality-AwareNMS

StandardNMS

복잡도가 O N! 로 Denseprediction 상황에 부적합

 

Locality-AwareNMS

인접한 픽셀에서 예측한 boundingbox들은 같은 text instance일 가능성이 높음.

-> 위치 순서(행 우선)로 탐색하면서 비슷한 것들을 하나로 통합하자.(IoU 기반)

-> 통합 시 scoremap값으로 weightedmerge

 

5) Training

 

Loss