[CV] Faster R-CNN 논문 리뷰

https://arxiv.org/abs/1506.01497

INTRODUCTION

<Faster R-CNN 등장 배경>

 

R-CNN에서는 (1)region proposal, (2)classification, (3)bounding box regression을 각각 따로 수행한다.

R-CNN 과정: (1) region proposal 추출 → 각 region proposal별로 CNN 연산 → (2) classification (3) bounding box regression

Fast R-CNN에서는 (1)region proposal을 CNN level로 통과시켜 (2)calssification과 (3)bounding box regression을 하나로 묶었다.

(1) region proposal 추출 → 전체 image CNN 연산 →RoI projection,RoI Pooling → (2) classification, (3) bounding box regression

Fast R-CNN은 R-CNN의 복잡한 traininig/ test pipeline을 통합함으로써 눈에 띄는 성능향상을 가져왔지만, Real-time object detector에는 여전히 속도면에서 아쉬운 부분이 있었다.

Region Proposal도 Selective search 사용하지 말고 CNN-(classification, bounding box regression) 이 네트워크 안에서 같이 할 수 있을까?

따라서, Fast R-CNN에서 가장 큰 계산 부하를 차지하는 region proposal 생성을 새로운 방식으로 대체하고, 이를 모델 내부로 통합시키자.

Faster R-CNN

Selective Search가 느린 이유?→ CPU 사용

⇒ Region proposal을 생성하는 network도 GPU에 넣기 위해 Conv layer에서 생성해보자.

 

FASTER R-CNN 구조

1. Input Image에 Selective Search를 진행하여 RoI영역 미리 뽑아놓는다.
2. CNN 모델에 이미지 전체를 집어넣어 Feature Map을 뽑아낸다.
3. 뽑아놨던 RoI영역을 Feature Map에 적용시킨 후 RoI Pooling을 진행하여 Fixed Length Freature Vector를 만들어 준다.
4. Fully-Connected Layer를 거쳐 두 자식 LAyer를 통해 Class Prediction, Bounding Box Regression을 진행한다.

Faster R-CNN의 장단점

⇒ RPN은 GPU에서 돌아가기 때문에

⇒ 전체 프레임워크를 End-to-End로 학습할 수 있다.

⇒ 여전히 많은 컴포넌트로 구성

⇒ Region Classification단계에서 각 특징 벡터는 개별적으로 FC Layer로 Forward된다.

 

참조

https://curt-park.github.io/2017-03-17/faster-rcnn/

https://ganghee-lee.tistory.com/37

https://nuggy875.tistory.com/33

https://www.youtube.com/watch?v=jqNCdjOB15s