2주차 Computer Vision Application

Semantic Segmentation

• 어떤 이미지가 있을 때 이 이미지를 pixel마다 분류한다
  
• Fully Convolutional Network
  • Fully Convolutional Network로 이미지의 heatmap을 얻을 수 있는 가능성이 생김
    

    

    
    

    

• Deconvolution (conv transpose)
  • 100 X 100 이미지가 여러개의 Layer를 거쳤기 대문에 10X10으로 줄었기 때문에 이를 다시 펼쳐주는 기술
  • Conv를 역연산한다. 하지만 엄밀히 말하면 역 연산은 불가능하다.
  • parameter count와 network 입력과 출력은 똑같다.
  • fully connect한 결과로 Deconv한다.

Detection

• 바운딩박스로 영역에 어떤 객체가 있는지를 카테고리해준다.

R-CNN

• 이미지안에서 bounding box를 여러개 추출한다(2천개가량)
• bounding box의 region에 대한 Feature를 CNN을 통해 얻어내고(AlexNet)
• linear SVM을 사용해서 분류한다
• 문제: 많은 boundingbox를 뽑으면 2천개의 이미지 또는 패치를 CNN에 다 통과시켱햐 한다.
  즉 Conv를 2천번 돌려야 1개의 이미지를 끝낸다.

SPPNet

• 이미지 안에서 CNN을 한번만 돌린다
• 이미지를 기반으로 bounding box를 뽑고 이미지 전체에 대해 Conv Featuremap을 만들고 뽑힌 bounding box 위치에 해당하는 Conv의 Tensor만 가져온다
  

  

Fast-RCNN

• SPPNet과 유사하지만 뒷단에 Neural Network(ROI Feature Vector)를 통해서 bounding box regression과 classification을 함

Faster-RCNN

• Region Proposal Network + Fast-RCNN 이라고 생각할 수 있다.
• 바운딩박스를 뽑는것도 네트워크로 학습한다.
• Region Proposal Network(RPN)
  • 이미지안에 물체가 있을것 같은지 없을것 같은지를 찾아줌
  • anchor box를 사용한다.

YOLO(you only look once)

• Faster RCNN은 bounding box를 찾는 region proposal이 있었다.
• yolo는 bounding box를 따로 뽑는 region proposal이 있다.
• 이미지를 S x S grid로 나눈다.
• B개의 bounding box를 예측한다.
• 실제로 쓸모있는 box인지를 예측한다.
• box probability를 같이 예측한다.
• yolo모델은 계속 버전이 업데이트 되고 연구가 지속적으로 진행되고있다. ( yolo v5까지나옴 )