1. FCN의 한계점
1. 객체의 크기가 크거나 작은 경우 예측을 잘 하지 못하는 문제
• 큰 Object의 경우 지역적인 정보만으로 예측
• 버스의 앞 부분 범퍼는 버스로 예측하지만, 유리창에 비친 자전거를 보고 자전거로 인식하는 문제 발생하기도 함
• 같은 Object여도 다르게 labeling
• 작은 Object가 무시되는 문제가 있음
2. Object의 디테일한 모습이 사라지는 문제 발생
• Deconvolution 절차가 간단해 경계를 학습하기
2. Decoder를 개선한 models
2.1 DeconvNet
Architecture
Decoder를 Encoder와 대칭으로 만든 형태
Unpooling vs Deconv
Unpooling은 maxpooling의 핵심이되는 값의 위치 정보를 같이 들고 pooling한다
Deconv는 https://modernflow.tistory.com/118 이 글 참조
Unpooling은 object의 경계를 복원했다
Transposed conv(deconv)는 안의 내용을 복원했다
-> 이 부분을 반복하면 Unpooling은 object의 외곽부분을 담당하고 transposed cov는 안의 내용물을 채워주는형태
2.2 SegNet
1x1을 사용하지 않고 대칭하여 decoder를 생성
2.3 DeconvNet vs SegNet
- deconv는 성능에 초점
- segnet은 속도에 초점
3. Skip Connection을 적용한 models
3.1 FC DenseNet
Neural network에서 이전 layer의 output을 일부 layer를 건너 뛴 후의 layer에게 입력으로 제공하는 것
3.2 Unet
4. Receptive Field를 확장시킨 models
4.1 DeepLab v1
receptive field가 bus에 대한 정보를 다 포함하지 못하므로 예측 정확도가 낮음
- receptive field가 작다면 버스에 대한 정보를 부분적으로 포함하여 성능 저하
Dilated convolution
이미지의 크기는 많이 줄이지 않고 파라미터수는 유지하고 receptive field는 넓히는 방법은 없을까? 에서 시작된 연구
Dense Conditional Random Field (Dense CRF, a.k.a Fully-Connected CRF)
CRF를 사용하면 할 수록 디테일함이 살아나는 결과를 확인함
모든 클레스에 대해 각각 실행해줌
4.2 DilatedNet
dialtion과 padding의 크기를 같게해서 conv에서 resolution의 사이즈를 변하지 않게 잘 조정함
basic context module을 추가하여 크고작은 사이즈도 잘 검출할 수 있게 시도
1. FCN의 한계점
1. 객체의 크기가 크거나 작은 경우 예측을 잘 하지 못하는 문제
• 큰 Object의 경우 지역적인 정보만으로 예측
• 버스의 앞 부분 범퍼는 버스로 예측하지만, 유리창에 비친 자전거를 보고 자전거로 인식하는 문제 발생하기도 함
• 같은 Object여도 다르게 labeling
• 작은 Object가 무시되는 문제가 있음
2. Object의 디테일한 모습이 사라지는 문제 발생
• Deconvolution 절차가 간단해 경계를 학습하기
2. Decoder를 개선한 models
2.1 DeconvNet
Architecture
Decoder를 Encoder와 대칭으로 만든 형태
Unpooling vs Deconv
Unpooling은 maxpooling의 핵심이되는 값의 위치 정보를 같이 들고 pooling한다
Deconv는 https://modernflow.tistory.com/118 이 글 참조
Unpooling은 object의 경계를 복원했다
Transposed conv(deconv)는 안의 내용을 복원했다
-> 이 부분을 반복하면 Unpooling은 object의 외곽부분을 담당하고 transposed cov는 안의 내용물을 채워주는형태
2.2 SegNet
1x1을 사용하지 않고 대칭하여 decoder를 생성
2.3 DeconvNet vs SegNet
- deconv는 성능에 초점
- segnet은 속도에 초점
3. Skip Connection을 적용한 models
3.1 FC DenseNet
Neural network에서 이전 layer의 output을 일부 layer를 건너 뛴 후의 layer에게 입력으로 제공하는 것
3.2 Unet
4. Receptive Field를 확장시킨 models
4.1 DeepLab v1
receptive field가 bus에 대한 정보를 다 포함하지 못하므로 예측 정확도가 낮음
- receptive field가 작다면 버스에 대한 정보를 부분적으로 포함하여 성능 저하
Dilated convolution
이미지의 크기는 많이 줄이지 않고 파라미터수는 유지하고 receptive field는 넓히는 방법은 없을까? 에서 시작된 연구
Dense Conditional Random Field (Dense CRF, a.k.a Fully-Connected CRF)
CRF를 사용하면 할 수록 디테일함이 살아나는 결과를 확인함
모든 클레스에 대해 각각 실행해줌
4.2 DilatedNet
dialtion과 padding의 크기를 같게해서 conv에서 resolution의 사이즈를 변하지 않게 잘 조정함
basic context module을 추가하여 크고작은 사이즈도 잘 검출할 수 있게 시도
