[Object Detection] Fast R-CNN 살펴보기

 

 

 

 

 

 

 

1. 객체 탐지 태스크의 문제 정의 - Object Detection의 역사

 

 

 

https://bh-kaizen.tistory.com/73

[Object Detection] R-CNN 살펴보기 (+SPPNet)

 

 

이전에는 R-CNN과 SPPNet을 살펴보았다

다음은 Fast R-CNN, Faster R-CNN인데 Fast R-CNN은 SPPNet의 변형, 좀 더 개선된 버젼에 가깝고 Faster R-CNN은 R-CNN의 문제점들을 대부분 개선한 end-to-end 학습 가능한 디텍션 모델이다

 

R-CNN 계열의 전반적인 흐름은 아래 글에서 잘 정리되어있다

• 컴퓨터 비전 - 10. R-CNN vs. SPP-net vs. Fast R-CNN vs. Faster R-CNN 개요

 

 

 

이번에도 논문이나 코드 등을 보기 전에 잘 정리된 블로그글들로 전체적인 내용 구성과 중요한 내용, 개념들을 먼저 살펴보았다

 

• 갈아먹는 Object Detection [3] Fast R-CNN
• CV - Fast RCNN
• Fast R-CNN 논문 리뷰
• 논문리뷰 - Fast R-CNN 톺아보기
• 딥러닝 컴퓨터 비전 백과사전 - Fast R-CNN
• [논문 리뷰] R-CNN / Fast R-CNN / Faster R-CNN (2)
• Part K. Two-stage Detectors
• Fast R-CNN 논문리뷰: RoI Pooling Layer와 Truncated SVD
• [논문 리뷰] Fast R-CNN

 

 

물론.. 정리된 글을 봐도 한번에 이해되진 않았다

그래서 제미나이에게 논문을 던져주고 가이드 학습 기능을 사용해서 순서대로 주요 내용들에 대해 질문을 던져주게 해서 여기에 대답해보는 식으로 조금씩 이해하고 다시 블로그글로 돌아가서 확인하고 이해가 되었는지 체크하며 공부해보았다

 

제미나이 가이드 학습 사용 예시.

 

 

---

 

 

 

 

 

 

Fast R-CNN

 

 

기존 모델의 한계점 (R-CNN, SPPNet)

 

 

논문에서는 첫 페이지에서 위와 같이 R-CNN와 SPPNet에 대한 3가지 문제점들을 먼저 지적한다

• 학습이 다단계로 이루어져 각각 학습되는 것 (=end-to-end 학습 불가)
• 그리고 각 단계별로 학습을 시키는데 학습 리소스가 많이 드는 것
• 인퍼런스 속도가 느리다는 것

SPPNet은 SPP레이어를 통해 여러 문제를 개선했으나 여전히 한계점들이 존재한다

• R-CNN과 마찬가지로 특징 추출, 파인 튜닝, SVM 학습, Bounding-box regressor 학습으로 이어지는 다단계 파이프라인
• 여전히 Feature를 디스크에 저장해야 함.
  
   
• 치명적인 한계: 제안된 파인 튜닝 알고리즘이 SPP(Spatial Pyramid Pooling) 레이어 앞단의 Convolutional layer들을 업데이트할 수 없음.
• 이러한 '고정된 Convolutional layer(Fixed convolutional layers)'의 한계는 매우 깊은 네트워크(Very deep networks)의 정확도를 제한함.

 

공통적으로 R-CNN과 SPPNet은 특징 추출 (CNN) 과 분류/회귀 모델 간에 학습이 단절되어 있다는 점이다

일반적인 하나의 모델의 경우 예측값과 정답값 사이의 오차를 통해 가중치들을 조정하면서 정답에 가깝게 학습을 하지만 바운딩 박스를 예측하는 회귀 모델과 클래스를 분류하는 분류 모델에서 발생한 오차로 CNN의 피쳐들을 더 좋게 수정할 수가 없다

그러나 현재의 구조에서는 CNN의 가중치들이 분류기의 최적화 과정에 맞춰 업데이트 되지 못한다

 

이미지의 특징을 잘 추출해야 CNN을 거친 피쳐맵에서 투영한 RoI 벡터들이 더 정확하게 분류되고 좌표값들도 잘 조정될 수 있을 것이다

이를 종합해서 SPPNet과 Fast R-CNN을 먼저 비교해서 보면 아래와 같다

 

 

https://velog.io/@woojinn8/Object-Detection-2.-SPP-Net-FastFaster-R-CNN

• Fast R-CNN에서 Region Proposal 부분은 여전히 통합되지 못했으나 그 외에 다른 부분들은 전부 하나의 네트워크로 통합되어 있음을 확인할 수 있다
• 주로 살펴볼 내용은 SPP의 변형인 RoI Pooling, 분류와 회귀를 동시에 학습 가능하게 만들어준 Multi-task loss, 2가지 핵심 아이디어이다
• 그 외에도 RoI Pooling을 통한 효과와 성능 향상, FC Layer를 최적화한 방법들도 간단하게 같이 살펴보았다

 

 

아래는 논문에서 제시한 Fast R-CNN의 구조이다

• RoI Pooling layer를 통과해서 각각 분류와 회귀 레이어로 전달된다고 하는데 이 RoI Pooling이 뭘까?

 

 

RoI Pooling

 

RoI Pooling 레이어는 Max Pooling을 사용해 셀렉티브 서치로 얻은 후보들을 원본 이미치가 CNN을 거쳐 얻은 피쳐맵에 RoI Projection하여 얻은 RoI들을 고정된 크기 H x W (ex: 7 x 7) 의 작은 피쳐맵으로 변환한다

이전 SPPNet에서 spatial pyramid pooling의 경우, 다양한 크기의 빈 (1x1, 2x2, 4x4) 과 같은 다양한 크기의 피쳐맵을 뽑았다면 RoI Pooling은 하나의 고정된 크기를 사용하는 것이다

 

 

동작 원리

• 고정 크기 변환: RoI Pooling은 입력 Feature Map 위에 있는 크기가 가변적인 RoI 영역 (h x w) 을 네트워크가 요구하는 고정된 H x W 크기의 격자(Grid)로 나눈다
• Max Pooling 적용: 이 H x W 격자의 각 셀(Sub-window) 내부에서 Max Pooling을 수행한다. 즉, 각 셀에서 가장 큰 값만을 추출하여 최종적인 H x W 크기의 Feature Map을 구성한다
• 결과: 이 과정을 통해 RoI의 크기 (h, w) 와 무관하게 항상 일정한 길이의 Feature Vector를 얻어, 이후의 FC Layer(Fully Connected Layer) 에 입력할 수 있게 된다

 

https://frogbam07.tistory.com/28

 

• 간단한 예를 들어, 원본 피쳐맵 크기가 49x49로 나왔고 투영해서 얻은 RoI 크기가 14x14이다
• 그러면 h, w는 14,14이고 H, W는 7x7로 설정했을 때
• h/H, h/W => 14/7, 14/7이 되서 서브 윈도우는 2x2 크기를 가진다
• 이 서브 윈도우에서 Max Pool을 수행하여 총 7x7 크기의 피쳐맵을 만든다
• 예시는 깔끔하게 나눠지는 경우로 들었지만 실제 RoI는 크기들이 모두 다르고 다양하기 때문에 대부분 직사각형이라 생각하는 것이 좋다
• 그래서 위의 이미지 예시도 저런 직사각형으로 되어있는 것이다
• 또한, RoI Pooing을 하기 위해 서브윈도우를 계산할 때 32/7 같은 깔끔하게 나눠지지 않는 경우가 대부분이며 이 경우 단순한  양자화 (반올림, 버림) 을 사용한다고 한다
• 이렇게 처리할 경우 RoI에서 가장자리가 깎여나가면서 정보 손실이 발생하고, 이 부분을 추후 개선한 방법이 RoIAlign이다

 

아래의 글에서 RoI Pooling과 그 과정에서 픽셀들이 손실되는 내용까지 잘 담겨있으니 한번 읽어보는 걸 추천한다

 

 

https://erdem.pl/2020/02/understanding-region-of-interest-ro-i-pooling

Understanding Region of Interest (RoI Pooling) - Blog by Kemal Erdem

 

 

 

 

탐지를 위한 파인 튜닝 (학습 방식 및 역전파)

 

RoI Pooling이 Fast R-CNN에서 end-to-end로 학습하기 위한 메인 아이디어 중 하나이다

Fast R-CNN의 가장 중요한 능력은 모든 네트워크 가중치를 역전파(Back-propagation)로 학습시키는 것이다

• SPPnet이 실패한 근본 원인: SPPnet은 각 학습 샘플(RoI)이 서로 다른 이미지에서 올 때 SPP 레이어를 통한 역전파가 비효율적이었기 때문이었다. 이는 R-CNN과 SPPnet의 학습 방식이었다
• Fast R-CNN의 해결책 (계층적 샘플링): Fast R-CNN은 Feature 공유의 이점을 활용하는 효율적인 학습 방법을 제안한다.
  미니 배치를 N개의 이미지를 먼저 샘플링하고 각 이미지에서 R/N개의 RoI를 샘플링하는 계층적(Hierarchical) 방식을 사용한다
  • SPPNet/R-CNN의 문제 :
    이들은 128개의 RoI를 사용하기 위해 128장의 서로 다른 이미지에서 RoI를 1개씩 추출하였다
    모든 RoI가 서로 다른 이미지에서 왔기 때문에, ConvNet을 통과한 Feature Map을 전혀 공유할 수 없었고 매 RoI마다 새로운 연산이 필요했다
  • Fast R-CNN의 해결 :
    2장의 이미지에서 64개씩 RoI를 추출하면, 이 64개의 RoI는 단 하나의 Feature Map을 공유합니다.
  • 결과: 이미 계산된 Feature Map을 64번 재활용할 수 있게 되므로, 논문에서 언급했듯이 R-CNN/SPPNet 방식 대비 약 64배 더 빠른 미니 배치 연산 속도를 달성
  • 효율성: 같은 이미지에서 온 RoI들은 Forward/Backward pass에서 연산과 메모리를 공유한다

• RoI Pooling Layer를 통한 역전파:
  • 원리: 역전파는 argmax 스위치를 따라 미분 값(Derivatives)을 라우팅한다
  • CNN 기울기 계산할 경우 Max Pooling에서는 값을 선택하기 때문에 역전파시 선택된 값으로 흘러가게 하는, 기울기를 전달하는 역할을 한다
  • 따라서 손실함수 L의 두 기울기 (partial L, partial yrj) 는 RoI Pooling시 Max 값을 선택하게 한 입력 Feature Map의 픽셀 xi에만 누적되어 전달되고, 나머지 픽셀에는 0이 전달된다

 

 

 

다시 정리해자면 역전파 원리 (Backward): 

H x W 출력값의 기울기(partial L/partial y)가 어떻게 입력 Feature Map(x)으로 전달되는가?

• 핵심 원리: argmax 스위치 활용: RoI Pooling은 Max Pooling 기반이므로, 역전파 시에는 Forward Pass에서 Max 값을 선택했던 그 위치를 '스위치'처럼 기억한다

https://ratsgo.github.io/deep%20learning/2017/04/05/CNNbackprop/

 

• 기울기 전달: 손실 함수(L) 에서 계산된 기울기(partial L / partial y_rj)는 Max Pooling 시 선택되었던 입력 Feature Map의 픽셀 x_i 위치로만 누적되어(Accumulated) 전달된다
• End-to-End의 완성: 이 argmax 스위치 덕분에 기울기가 RoI Pooling 레이어를 통과하여 공유된 Convolutional Layer의 가중치까지 도달하게 된다

이것이 SPPnet이 해결하지 못했던 학습의 단절 문제를 해결하고 End-to-End 학습을 가능하게 한 결정적인 메커니즘이다

 

 

CNN 역전파 과정에 대해서 아래 글이 잘 설명해주었다

여러번 정독하면서 공부할 내용..

 

https://ratsgo.github.io/deep%20learning/2017/04/05/CNNbackprop/

CNN의 역전파(backpropagation) · ratsgo's blog

 

 

 

 

Multi-task Loss

 

다음은 end-to-end 학습을 시도했던 두번째 메인 아이디어이다

간단하게 말하자면 분류, 회귀에 사용하는 오차를 합쳐서 하나의 Loss를 사용하는 것이다

 

 

 

Multi-task Loss의 구조

 

분류 손실 $L_{cls}$ 과 회귀 손실 $L_{loc}$ 의 결합

 

이 손실 함수는 다음과 같이 작동한다

1. $L_{cls}$ (분류 손실): RoI가 어떤 물체(혹은 배경)인지 분류 (Log Loss 사용)
2. $L_{loc}$ (회귀 손실): RoI의 좌표를 정답($v$)에 가깝게 조정 (Smooth L1 Loss 사용)
3. $[u \ge 1]$ (배경 제외): $\text{RoI}$가 배경 클래스($u=0$)일 경우, 바운딩 박스를 조정할 필요가 없으므로 $\text{L}_{loc}$의 계산을 생략(무시)한다

이러한 Multi-task Loss 구조를 통해, 분류와 회귀에서 발생한 오차(Gradient)가 하나의 RoI Pooling 레이어를 거쳐 CNN의 가중치로 동시에 전달된다

이로써 CNN은 "분류에도 좋고, 위치 조정에도 좋은" 특징을 추출하도록 통합적으로 최적화된다

 

 

Smooth L1 Loss

 

 

왜 L1도 L2도 아닌  Smooth L1 Loss 를 사용했을까?

 

 

 

 

간단하게 리마인드를 하고 가자면

L1 Loss는 실제값과 예측값 오차의 절댓값을 사용하며, 일차식이여서 이상치의 영향이 덜하지만 V 형태로 미분불가능한 지점이 있다는 특징이 존재한다

L2 Loss는 실제값과 예측값 오차의 제곱을 사용하며, 모든 구간에서 미분 가능하지만 이상치에 민감하다는 특징이 존재한다

 

• Smooth L1 Loss는 R-CNN 및 SPPnet에서 사용된 L2 Loss보다 이상치(Outliers)에 덜 민감하고 로버스트(Robust)한 L1 손실이다
• |x| < 1 이면 L2 Loss를, 그 외에는 L1 Loss를 사용한다
• 회귀 타겟이 무한정 커질 수 있을 때, L2 Loss로 학습하면 기울기 폭발(Exploding gradients) 을 막기 위해 학습률을 신중하게 조정해야 하는데 Smooth L1은 이러한 민감도를 제거한다

 

https://www.researchgate.net/figure/Plots-of-the-L1-L2-and-smooth-L1-loss-functions_fig4_321180616

 

 

결론: Smooth L1 Loss는 오차가 작은 영역에서는 L2의 장점(부드러운 미분)을 취하고, 오차가 큰 영역에서는 L1의 장점(일정한 기울기)을 취함으로써, 회귀 모델의 초기 오차가 크더라도 CNN의 가중치가 과도하게 흔들리거나 폭발하는 것을 방지하여 통합된 End-to-End 학습 파이프라인의 안정성을 보장한다

 

 

Fast R-CNN이 End-to-End 학습을 도입하면서, 경계 상자 회귀 모델($L_{loc}$)에서 발생한 오차의 기울기가 RoI Pooling을 거쳐 CNN의 모든 가중치에까지 직접 전달되는데, 이 과정에서 학습의 안정성을 확보하는 것이 매우 중요해졌다

 

 

https://hongl.tistory.com/345

Smooth L1 Loss vs Huber Loss

 

 

여기서 Loss 함수 설명 잘 되어있다

 

https://woochan-autobiography.tistory.com/920#7.%20Fast%20RCNN%EC%9D%98%20Loss%20Function

CV - Fast RCNN

 

 

 

위의 2가지 메인 아이디어 외에도 연산량이 많은 FC 레이어를 특이값 분해 (Truncated SVD) 를 통해 순전파시 걸리는 시간을 단축시킨 방법도 존재하지만 슬프게도 특이값 분해를 제대로 이해하지 못해서 정리하진 못했다

간단하게 설명 추가하자면 하나의 FC 레이어에서 가중치 행렬, W를 특이값 분해하여 두 개의 가중치 행렬로 만든다

즉, 하나의 크고 무거운 FC 레이어를 두 개의 작고 가벼운 레이어로 분해하는 것이다

 

선형대수도 같이 열심히 공부하기...

 

https://holamundo.tistory.com/entry/prerequisite-Fast-R-CNN-Truncated-SVD

(prerequisite-Fast R-CNN) Truncated SVD

 

 

 

이제 지금까지의 내용들을 이해하고서 아래의 구조 비교를 보면 더 잘 이해될 것이다

https://bkshin.tistory.com/entry/%EC%BB%B4%ED%93%A8%ED%84%B0-%EB%B9%84%EC%A0%84-10-R-CNN-vs-SPP-net-vs-Fast-R-CNN-vs-Faster-R-CNN-%EA%B0%9C%EC%9A%94

 

 

 

 

 

 

 

아직 해결해야할 문제들

 

Fast R-CNN은 이전의 여러 문제점들을 개선했으나 여전히 속도가 느린 병목 지점이 존재하며 아직 완벽한 End-to-end 모델이라고 할 수 없다

바로 Region Proposal, RoI(Region of Interest)를 추출하는 단계를 Selective Search라는 CPU 기반의 외부 알고리즘에 의존한다는 점이다

 

Selective Search는 이미지 한 장당 RoI를 생성하는 데 약 2초의 시간이 소요된다

네트워크 내부 연산 (CNN 피쳐 추출 및 분류, 회귀) 이 0.32초에 불과해도, 전체 시스템은 2초 이상을 기다려야 했기 때문에 진정한 의미의 실시간 탐지(Real-time Detection) 불가능하였다

 

따라서 탐지 파이프라인의 모든 연산을 신경망과 GPU 내부에서 처리해야 한다는 해결해야할 문제점, 이 마지막 병목(Selective Search)을 제거하고, 객체 제안(Proposal) 단계를 RPN(Region Proposal Network) 이라는 네트워크로 병합한 모델이 다음 모델인 Faster R-CNN이다

 

 

 

 

 

 

 

---

 

 

 

이전의 R-CNN, SPPNet 까지는 주요 내용들까지만 이론적으로 얼추 이해를 조금 한 것 같으면서도 여전히 코드랑 실제 구현까지 따라가는게 정말 어렵다... 이론적으로도 수학과 여러 개념들 등 파고들 부분이 너무나도 많다

 

https://herbwood.tistory.com/9

Pytorch로 구현한 Fast R-CNN 모델

 

그래도 자료랑 AI 도움 받아서 최대한 이해가 안가는 부분들 찾아서 조금씩 채워봐야겠다

Faster R-CNN과 같이 정리해보려 했으나 Faster R-CNN에 가면서 뭔가 내용이 더 어려워지고 확 넓어진 느낌...

최대한 글로 잘 정리해보고 싶은데 이해 가능한 부분들부터 꾸준히 정리해봐야겠다