성능 평가 방식

1. 성능 평가 개요

1.1 성능 평가의 중요성

성능평가 == 새로운 (학습에서 사용되지 않은 ) 데이터가 들어왔을 때 얼마나 잘 동작하는가?

 

성능 평가시 데이터 분리방법

아래와 같은 문제가 있기 때문에 제대로된 평가를 해야한다

1.2 정량평가 & 정성평가

1) OCR에 대한 정량평가

2) OCR에 대한 정성평가

 

2. 글자 검출 모델 평가 방법

2.1 글자 검출 모델 평가

2.2 Glossary

1) IoU (Intersection of Union)

2) Area Recall / Area Precision

3) One-to-One | One-to-Many | Many-to-One Match

2.3 DetEval

 

2.4 IoU

오직 1:1매칭만 허용

one-to-one matching이 성립 and IoU value > 0.5 일 경우 correct, 그렇지 않은 경우 incorrec

한계점

2.5 TIoU

부족하거나 초과된 예측영역에 대해 패널티를 준다

 

 

2.6 CLEval

- 얼마나 많은 글자(Character)를 맞추고 틀렸느냐를 가지고 평가.

- Detection 뿐 아니라 end-to-end, recognition 에 대해서도 평가 가능

 

Character-Level Evaluation

글자 별 위치장보를 이용한다

PCC를 활용하여 글자의 중심위치를 예측한다

영역을 글자의 개수만큼 나누고 각 글자의 중심위치를 잡아낸다

 

1) Recall

2) Precision

3) Recall과 Precision을 사용하여 scoring

 

2.7 Summary