혁펜하임의 Easy! 딥러닝 - 기울기 문제부터 배치 & 레이어 정규화까지

 

 

 

Easy! 딥러닝

『Easy! 딥러닝』은 딥러닝을 처음 접하는 독자들을 위한 필수 가이드로, 인공지능의 기초 개념부터 CNN, RNN 등 딥러닝의 주요 주제를 폭넓게 다루고 있다. KAIST 박사이자 유튜버로 활동 중인 혁펜하임이 집필한 이 책은 직관적인 비유를 통해 딥러닝의 원리를 체계적으로 이해할 수 있도록 설계되었다. 복잡한 딥러닝 개념도 저자의 쉽고 친절한 설명 덕분에 초보자도 부담 없이 따라갈 수 있으며, 280여 개의 그림과 동영상 강의는 학습 과정

저자

혁펜하임

출판

북엔드

출판일

2024.11.26

 

 

 

평소 자주 챙겨보는 채널 혁펜하임님께서 작년에 새로운 책을 출판하셔서 부족했던 기초를 다지고자 책 핸즈온 머신러닝과 같이 보고 있다

 

핸즈온 머신러닝이 머신러닝/딥러닝에 대해 전반적인 방법론과 각각의 방법에 대한 예시 코드를 다룬다면 책 Easy! 딥러닝은 코드의 비중이 적은 대신 딥러닝에서 필수적인 이론에 대해 자세하게 다룬다

물론 제목에 'Easy'가 붙어있는 만큼 수학적으로 깊게 파는 것이 아닌, 필요한 개념들을 쉽게 풀이하는 것에 초점이 맞춰져 있는데 대충 공부하고 넘어갔던 부분들이 있었기에 그런 부분들을 보완해줄 수 있는 좋은 책이라 생각한다

다만 실제 개발 등 실무에 기술을 적용하거나 코드와 같이 공부하는 것을 원하신다면 이 책은 취지에 맞지 않을 것이다

 

어떤 딥러닝 책을 볼까 고민중이신 분들이라면, 딥러닝 코드를 쓰긴 하지만 그냥 쓰는게 아니라 왜 쓰는지 더 깊게 알고 싶다, 딥러닝 관련된 이론이나 강의들을 보긴 했으나 뭔가 이해와 깊이가 부족한 부분들이 느껴지시는 분들께 이 책을 추천한다

딥러닝 입문서로 많이 추천되는 혼자 공부하는 머신러닝+딥러닝과 입문서로 같이 보는 것도 좋을 것 같다

 

마침 최근 기울기 소실과 관련된 내용을 보았는데 해당 책에서 이해하기 쉽게 풀이하고 있어서 공부한 내용들을 한번 정리해보았다

 

 

---

 

 

 

 

1. 깊은 신경망이 가지는 기울기 문제

 

인공 신경망을 깊게 쌓음으로써 성능을 높일 수 있으나 가장 큰 문제점이 발생하였다

층이 깊어질수록 학습의 성능이 떨어지는 것이다

이에 대한 원인은 바로 기울기 문제였다

 

역전파시 기울기 계산을 통해 출력 레이어에서 입력 레이어까지 가중치가 오차를 줄이는 방향으로 업데이트 되어야하는데 이러한 기울기 전달이 제대로 이뤄지지 않는 것이다

 

 

---

 

 

 

1-1. 기울기 문제

 

기울기 문제에는 기울기 소실과 폭주 2가지가 있다

• 기울기 소실 : 역전파를 통해 오차 함수의 기울기를 입력층으로 계산할 때 갈수록 기울기가 점점 작아져 학습이 제대로 이뤄지지 않는 현상으로, 아래의 사진처럼 입력층에 가까워질수록 기울기가 0에 수렴한다
• 기울기 폭주 : 기울기가 점점 커져서 여러 층이 비정상적으로 큰 가중치로 갱신되어 발산하는 현상으로, 주로 순환 신경망에서 발생한다

 

기울기 소실

 

 

 

책에선 기울기 소실과 해결 방법에 초점이 맞춰져있기에 해당 내용에서는 기울기 소실을 주로 다룰 것이다

 

 

 

---

 

1-2. 발생 배경

 

초창기 인공 신경망이 사용했던 시그모이드 함수와 가중치 초기화 방법으로 인해 기울기 소실이 발생하였다

 

 

기존의 가중치 초기화

이전에 사용한 가중치 초기화 방법으로 상수값 또는 랜덤 초기화를 사용하였다

 

상수값 초기화

(+ 0 초기화 (Zero Initialization))

• 가중치를 모두 0과 같은 특정 상수값으로 초기화
• 대칭성 문제:
  • 모든 뉴런이 동일한 출력을 생성하기 때문에, 역전파 과정에서 모든 가중치 업데이트가 동일하게 이루어져 학습이 정상적으로 진행되지 않는다
  • 즉, 가중치의 대칭성이 깨지지 않는다

랜덤 초기화 (Random Initialization)

• 가중치를 무작위 값이나 특정 분포 형태로 초기화
  • 무작위(Random), 균등 분포(Uniform Distribution), 정규 분포(Normal Distribution)
  • 일반적으로 평균이 0이고 작은 표준편차(예: 0.01)를 가진 정규 분포에서 샘플링하거나, 특정 범위 내의 값(예: [−0.1,0.1])을 랜덤으로 생성. 또는 가중치를 [−a,a] 범위에서 균일하게 랜덤 초기화한다
  • ex) [−a, a][-a, a]  /  [−0.1, 0.1][-0.1, 0.1]
• 기울기 소실/발산 문제:
  • 층이 깊어질수록 분산이 층마다 기하급수적으로 커지거나 작아져, 활성화 함수 출력이 0 또는 1로 포화되는 현상이 발생하며 학습속도가 느려질 수 있다

 

상수 0 초기화 vs 랜덤 초기화 (균등 분포)

 

• 가중치를 0으로 초기화한다면 입력값과 가중치가 0으로 곱해져 출력이 0이 되어, 올바른 출력값을 기대할 수 없다
• 0.1로 초기화할 경우, 가중치가 너무 작아서 역전파 과정에서 기울기가 급격히 작아져 기울기 소실을 유발할 수 있다

 

각 뉴런의 출력값이 동일하게 계산되어 모든 뉴런이 동일한 업데이트를 받게 되고, 학습 과정에서 뉴런 간의 차별화가 이루어지지 않거나 가중치 값이 너무 작을 경우 기울기 소실과 학습 속도 저하를 발생시킨다

 

신경망에서 가중치를 업데이트하는 과정은 데이터의 패턴을 학습하는 과정이므로 모든 데이터는 고유한 특성과 패턴을 가지고 있기 때문에, 가중치가 뉴런마다 동일하거나 유사한 값을 가지게 되면 신경망은 이 데이터를 제대로 표현하거나 구분하지 못하게 된다

 

 

---

 

기존의 활성화 함수

 

 

초창기 인공 신경망의 활성화 함수로 시그모이드를 주로 사용하였다

하지만 시그모이드 함수의 형태로 인해 층이 깊어질수록 기울기 소실이 발생하였다

 

 

 

활성화 함수로 시그모이드를 사용할 경우 역전파 과정에서 문제가 발생할 수 있다

 

위의 이미지 아래 가중치를 업데이트하는 경사 하강법 공식을 보면 loss에 대한 가중치의 미분값을 학습률 만큼 반영하여 점차 업데이트한다

• 시그모이드의 출력값 0.5에서 기울기가 0.25로 가장 크고,  0과 1에서는 0에 수렴한다
• 층이 깊어지면 레이어의 출력값들이 0 또는 1로 수렴한다
• 역전파시 이렇게 0과 1로 수렴한 출력값들 때문에 기울기가 0에 가까워서 입력층까지 기울기 계산이 이뤄지지 못하고 소실되어 버린다

 

 

책에서는 기울기 전달이 제대로 안될 경우 발생하는 문제를 아래의 그림을 통해 쉽게 설명한다

 

혁펜하임 - Easy! 딥러닝

 

데이터가 모델을 거쳐가는 과정을 식당에서 요리를 제공하는 것으로 비유한다

 

각 레이어마다 재료 손질, 요리, 플레이팅 등 다양한 처리를 맡는다

• 초기의 가중치 초기화된 상태는 요리를 모르는 아기의 상태이다. 요리를 모르기 때문에 처음에는 엉망 진창인 음식을 만든다
• 제대로 된 음식과 비교하면서 틀린 부분 하나하나를 교정하며 학습을 통해 점차 요리의 완성도를 올려간다
• 기울기가 소실된다는 것은 이렇게 비교를 통해 배운 것이 아기에게 전달되지 않는 것이다
• 따라서 초반 레이어는 학습이 되지 않은 초기의 가중치 상태, 아기의 상태가 그대로이기 때문에 아무리 재료인 데이터를 넣어도 초반부에서 재료를 엉망으로 망쳐놓기 때문에 좋은 음식이 나올 수 없게 된다

 

➡️ 기울기 소실로 입력에 가까운 층들이 업데이트되지 않는다는 것은 처음 정한 웨이트 값 그대로 사용하게 된다는 것이다. 처음 랜덤하게 초기화된 층들은 Loss 값을 줄이는데 전혀 도움을 주지 못한 상태로 남는다

 

✅ 문제점은 기울기가 0에 수렴한다는 것이 아니다. 출력층은 어느 정도 학습이 되더라도, 입력층에 가까운 층들이 제대로 학습되지 않아 거쳐가는 입력 데이터를 망치기 때문에 뒤쪽 층이 아무리 학습이 잘 되어 있더라도 좋은 결과 자체를 낼 수 없다는 점이 기울기 소실의 핵심이자 본질이다

 

 

이러한 문제를 해결하고자 새로운 가중치 초기화 및 활성화 함수가 등장하게 된다

 

 

---

 

 

2. 새로운 가중치 초기화 및 활성화 함수

 

 

내용을 가중치 초기화, 활성화 함수끼리 묶는 것이 아닌, 시그모이드의 기울기 소실을 해결하기 위해 등장한 가중치 초기화, 활성화 함수 => 새로 등장한 활성화 함수에 맞는 가중치 초기화 방법 순으로 구성하여 문제➡️해결 방법에 집중하였다

 

 

2-1. 르쿤 & 자비에 초기화

 

혁펜하임 - AI DEEP DIVE

 

 

이러한 기울기 소실을 해결하기 위해 가중치 초기화에 대한 다양한 연구가 이뤄졌고 르쿤, 자비에 초기화라는 방법이 나오게 되었다

시그모이드를 많이 거칠수록 출력값이 0과 1로 수렴하여 기울기가 0에 가까워지는 것이 문제이므로, 이렇게 출력값이 극단적으로 치우치지 않도록 가중치를 초기화하는 것이 핵심 아이디어이다

 

 

혁펜하임 - AI DEEP DIVE

 

배경

• 르쿤 초기화는 Yann LeCun이 제안한 방식으로, 시그모이드 활성화 함수와 같은 전통적인 활성화 함수에서 기울기 소실 문제를 완화하기 위해 설계되었다
• LeCun 초기화는 tanh와 같은 대칭적인 함수에서 적절한 기울기를 유지할 수 있도록 가중치를 초기화하는 방법으로 신경망의 각 층에서 입력값의 분산과 출력값의 분산을 같게 유지하려는 것이 목표이다

특징

• 르쿤 초기화는 입력값의 분산이 층을 지나면서 급격히 증가하거나 감소하지 않도록 설계되었다
• 주로 시그모이드 함수나 tanh 함수와 함께 사용되며, 이 함수들의 성질(출력값이 0과 1 사이로 수렴) 때문에 소실되는 기울기를 보완한다
• LeCun은 가중치의 분산을 1 / 입력 노드 수로 설정하여, 초기 출력값의 분포가 활성화 함수의 선형 부분에 집중되도록 했다. 이를 통해 활성화 함수가 포화 영역에 빠지는 것을 방지하고, 효율적인 학습을 도와준다

 

 

---

 

 

 

혁펜하임 - AI DEEP DIVE

 

 

배경

• 자비에 초기화는 Xavier Glorot이 제안한 방식으로, 신경망이 깊어질수록 발생하는 기울기 소실 또는 폭주 문제를 완화하기 위해 설계되었다
• 시그모이드 함수와 tanh 함수 같은 대칭적인 활성화 함수와 함께 사용되며, 입력값과 출력값의 분산이 균형을 이루도록 초기화한다
• Xavier 초기화는 시그모이드와 tanh 함수의 활성화 값의 분포가 대칭적이라는 특성을 고려하여, 입력과 출력 노드 수의 평균에 비례하는 가중치 초기화를 사용한다

특징

• 자비에 초기화는 입력값의 분산과 출력값의 분산을 층을 지날 때 동일하게 유지하려는 데 초점을 둔다
• 각 층에서 전달되는 신호의 크기가 적절히 조절되므로 기울기 소실과 폭주를 방지한다
• Xavier는 가중치 분산을 **2 / (입력 노드 수 + 출력 노드 수)**로 설정하여, 활성화 함수의 출력값이 포화 영역에 빠지지 않도록 조정한다

 

 

➡️ 르쿤은 주로 입력값의 분산을 유지하도록, 자비에는 입력값과 출력값의 분산이 균형을 이루는 것에 초점을 두어 기울기 문제를 해결하고자 하였다. 중요한 것은 레이어들을 거치는 입출력값들의 분포을 너무 치우치지 않도록 유지하는 것이다

 

 

아래 그래프들은 각각 가중치 초기화 방법에 따른 레이어별 출력값의 분포이다

 

정규 분포 초기화 vs 르쿤&자비에 초기화 비교

 

이 그림은 표준편차 1, 0.01인 정규분포 랜덤 초기화 2가지와 르쿤, 자비에 초기화를 사용했을 때 출력값의 분포를 비교한 그래프이다

• 표준편차가 1인 정규분포
  • 분산이 크기 때문에 출력값이 점차 양끝으로 치우치다가 나중엔 1에 값이 수렴되고 있다
  • 기울기 폭주의 발생 원인에 해당한다
• 표준편차가 0.01인 정규분포
  • 분산이 (0.0001)로 매우 작아서 대부분의 출력값이 0.5로 수렴하고 있다
  • 시그모이드가 0.5에서 기울기 값이 가장 크긴 하지만 대부분의 값이 이 위치에 존재한다면 같은 기울기를 가진 선형 변환과 크게 다를 것이 없기 때문에 레이어를 깊게 쌓는 의미가 사라진다
• 아래는 르쿤과 자비에 초기화를 사용한 경우로, 출력값의 분포가 정규 분포 초기화에 비해 덜 극단적이고 고르게 분포해있음을 확인할 수 있다

 

 

 

---

 

 

2-2. ReLU 함수

최대 기울기가 0.25인 시그모이드 함수의 한계를 극복하고 기울기 소실 문제를 완화하고자 ReLU (Rectified Linear Unit) 이 등장하였다

 

https://wiki.terzeron.com/Artificial_Intelligence/%EA%B8%B0%EB%B3%B8_%EA%B0%9C%EB%85%90_%EB%B0%8F_%EC%9A%A9%EC%96%B4

 

ReLU는 입력값이 양수는 입력값 그대로 출력하고, 음수일 경우 0을 출력하는 활성화 함수이다

정말 간단한 형태지만 효과는 강력하다. 활성화 함수의 미분값이 1(양수 영역) 또는 0(음수 영역)이 되어, 입력층으로 갈수록 기울기가 점점 작아지는 현상을 효과적으로 막을 수 있다

 

 

그렇다면 ReLU에서 음수 입력시 0이 나오기 때문에 기울기 계산 과정에서 0으로 기울기 소실에 더 취약한 것이 아닐까??

 

 

혁펜하임 - Easy! 딥러닝

 

 

이러한 의문이 들 수도 있는데 위의 이미지처럼 레이어의 노드들은 여러 개이며, 각각의 노드마다 편미분을 한 뒤에 모두 더하기 때문에 일부 노드의 기울기가 0일 수는 있어도 전체 기울기가 0이 되진 않기 때문에 기울기가 잘 전달될 수 있다

 

 

 

ReLU는 여러가지 장점들을 보유하고 있다

 

기울기 소실 문제 해결:

• ReLU 함수는 양의 입력값에 대해 선형으로 출력되기 때문에, 역전파 과정에서 기울기가 0으로 소실되지 않는다. 0보다 큰 값에 대해서는 기울기가 항상 1이기 때문에, 기울기 소실 문제를 극복할 수 있다
• 음의 값에 대해서는 기울기가 0이므로, 입력값이 음수일 때는 정보가 차단되는 단점이 있다. 이를 해결하기 위해 다양한 변형이 존재한다 (예: Leaky ReLU).

계산 효율성:

• 시그모이드와 tanh에 비해 ReLU는 단순한 비교 연산만으로 계산이 가능하므로 계산이 빠르고 효율적이다. 이로 인해 큰 네트워크에서도 학습 속도가 빨라진다

Sparse Activation:

• ReLU는 입력값이 0보다 작은 경우에는 출력을 0으로 만들기 때문에, 네트워크의 일부 뉴런은 활성화되지 않고 희소(sparse)한 활성화를 제공한다. 이는 모델의 표현력을 높이고, 과적합을 줄이는 데 도움이 될 수 있다

 

 

 

---

 

 

 

 

2-3. 카이밍 허 초기화

 

혁펜하임 - AI DEEP DIVE

 

ReLU 활성화 함수는 입력값이 음수일 때 출력을 0으로 만들어버리는 특성 때문에, 뉴런의 출력값 분포가 0보다 작아지는 방향으로 치우칠 수 있다. 이는 뉴런의 절반이 0을 출력하면서 평균이 낮아지고, 기울기가 0이 되어 학습에 기여하지 않는 Dead ReLU 문제를 초래할 수 있다.

 

또한, 출력값이 한쪽으로 치우치면 가중치 업데이트가 비효율적으로 이루어지고, 깊은 신경망에서는 기울기 소실(Vanishing Gradient) 문제가 발생할 가능성이 커진다. 이러한 문제를 해결하기 위해 카이밍(He) 초기화가 사용된다.

 

카이밍 초기화는 입력 노드 개수를 기준으로 가중치의 분산을 결정하지만 ReLU의 특성에 맞춰 분산을 더 크게 설정하는 것이 핵심 차이점이다. 

 

 

---

 

 

지금까지 기울기 소실을 해결하기 위해 새로운 가중치 초기화를 사용하거나 활성화 함수를 적용하는 것을 살펴보았다

가중치 초기화를 통해 레이어의 입출력값의 분산을 적절하게 조절하고 렐루를 통해 역전파 과정에서 기울기가 잘 전달되도록 하였다

이 두 가지 방법 외에도 기울기 소실에 효과적인 방법인 정규화를 다뤄보겠다

 

 

 

 

 

 

 

 

---

 

 

3. 정규화

 

정규화에는 배치 정규화와 레이어 정규화 2가지가 있다

 

각각 정규화에 대해 알아보기 전에 먼저 알아두면 좋은 내부 공변량 변화부터 살펴보겠다

 

 

3-1. 내부 공변량 변화

 

위의 가중치 초기화 파트에서 정규분포 초기화와 자비에, 르쿤 초기화를 사용했을 때 가중치의 분포를 시각한 그래프를 보면 레이어마다 다양한 형태로 분포해있는 것을 확인할 수 있다

 

 

심층 신경망에서 레이어를 거칠수록 레이어의 출력값 분포가 다양하게 변화하는 현상을 내부 공변량 변화(Internal Covariate Shift) 라고 한다

 

 

그럼 이러한 내부 공변량 변화가 모델 학습에 어떤 영향을 미칠까??

 

이 부분을 이해하기 위해선 입력 데이터가 활성화 함수에 어떤 분포로 입력될 때 어떤 결과가 나오는지 살펴보는 것이 도움 된다

 

렐루 함수를 예제로 사용해보면

이 레이어에 5개의 값이 입력될 때 입력값이 전부 양수라면 렐루 함수의 특성에 의해 입력된 그대로 출력될 것이다

이런 경우, 기울기 소실은 일어나지 않지만 비선형성을 전혀 주지 못한다

 

 

 

반대로 입력값이 전부 음수라면 출력값이 0이므로 비선형성도 주지 못하고 미분도 0이 되기에 기울기 소실 문제를 발생시킨다

 

 

따라서 이렇게 레이어의 입출력값이 어떤 분포를 가지고 있는지에 따라 비선형성과 기울기에 영향을 받으므로 내부 공변량 변화는 모델 학습에 직접적인 영향을 미치는 중요한 요소이다

 

 

내부 공변량 변화는 아래와 같은 특징들을 지닌다

부정적인 영향

(1) 학습 속도 저하 : 출력값 분포가 레이어마다 크게 변하면, 학습 단계에서의 최적화가 어려워진다

• 이전 레이어의 가중치가 조금만 바뀌어도 다음 레이어의 입력 분포가 급격히 변하게 된다
• 이로 인해 모델은 매번 변화된 입력에 적응하기 위해 작은 학습률을 사용하거나, 최적화를 위해 더 많은 학습 반복이 필요로 한다

(2) 기울기 소실/폭주 문제 : 출력값의 분포가 과도하게 넓거나 좁아지면, 활성화 함수(특히 시그모이드나 Tanh)의 비선형 구간에 데이터가 들어가지 못할 수 있다

• 기울기가 0에 가까워지면 기울기 소실 문제가 발생하고, 역전파가 제대로 작동하지 않는다
• 반대로, 기울기가 너무 커지면 기울기 폭주 문제가 발생하여 가중치가 불안정하게 변한다

(3) 불안정한 학습 : 입력값 분포가 일관되지 않으면, 신경망은 특정 레이어의 출력을 일반화된 패턴으로 학습하기 어렵게 된다

• 이는 네트워크가 충분히 수렴하지 못하거나, 과적합 위험이 높아지는 결과를 초래한다

---

긍정적인 영향

출력값 분포의 변화가 꼭 나쁜 것만은 아니다. 다음 조건에서 긍정적으로 작용할 수도 있다:

 

(1) 비선형성 강조 : 레이어마다 출력값이 적절하게 다양해지면, 각 레이어가 더 복잡한 패턴을 학습할 수 있다

• 출력값이 적절히 다양하면 모델이 더 풍부한 표현력을 가지게 되어 비선형 관계를 잘 학습할 가능성이 높다

(2) 초기 단계의 학습 : 학습 초기 단계에서 출력값 분포가 자연스럽게 변화하는 것은 다양한 표현을 탐색하는 과정으로 긍정적일 수 있다

• 하지만 학습이 진행되며 분포 변화가 안정화되지 않으면, 결국 부정적인 영향을 미친다

 

---

 

 

 

그럼 이런 내부 공변량 변화를 어떻게 다뤄야할까?? 바로 배치 정규화를 통해 안정화시킬 수 있다

 

 

 

---

 

3-2. 배치 정규화

위의 예시에서 값이 전부 음수나 양수가 되지 않도록 하려면 아래 그림처럼 일부는 음수, 일부는 양수로 비선형성과 기울기 소실 사이의 균형을 갖는 것이 이상적인 형태이다

 

 

 

 

✅ 배치 정규화는 이러한 입력값들을 적절하게 배치하는, 분산을 조정한 뒤 다음 활성화 함수를 통과하게 하는 아이디어이다

 

 

배치 정규화는 입력받은 각 피쳐들의 값을 배치 단위로 평균과 표준편차를 구해서 평균이 0, 분산이 1인 정규분포로 정규화한다

 

 

여기서 중요한 점 하나가 있는데, 레이어마다 이 배치 정규화를 그대로 적용하면 단순히 정규 분포로만 정규화하는 것이기 때문에 입출력값이 하나의 분포로 통일된다는 점이다

 

혁펜하임 - Easy! 딥러닝

 

• 예를 들어, 시그모이드의 경우 그래프 중앙과 외곽부분 (검정색 원) 은 기울기가 비선형성이 부족하고, 중간 부분 (빨간색)은 비선형성은 적당하지만 미분값이 너무 작다
  
• 따라서 일부는 중앙에, 일부는 빨간 부분에 들어가야 둘의 균형을 맞출 수 있기 때문에 정규 분포의 형태로 조정하는 것이 항상 최적이 아니다

 

 

아래는 배치 정규화의 공식이다. 평균, 분산을 통해 정규화를 하는 과정은 우리도 알고 있는 수식이다

중요한 점은 맨 아래의 빨간색으로 표기된 부분이다

 

 

y = rx + b. 어디서 많이 본 형태가 아닌가?? 

➡️  y = wx + b. 신경망의 기본 계산으로, 출력값은 입력값 x 가중치 + 편향의 형태이다

 

 

 

✅ 배치 정규화에는 학습 가능한 파라미터가 존재하며, 데이터를 어디에(평균), 얼마나 넓게 (분산) 위치시킬지를 학습한다

✅ 각 레이어마다 오차가 적은 방향으로 분포를 조정하도록 적절한 배치 정규화의 위치를 학습한다

✅ 이는 각 노드에 대해 비선형성과 기울기 소실 문제 해결 사이의 균형을 학습한다고 볼 수 있다

 

 

다음은 4개의 층을 가진 간단한 신경망에서 배치 정규화 적용 여부를 비교한 그래프이다

배치 정규화를 사용한 모델은 출력값이 일정 분포의 형태를 유지하지만 사용하지 않은 모델은 점차 분포가 무너지며 특정 값에 집중되는 모습을 볼 수 있다

 

 

 

---

 

지금까지 배치 정규화가 어떤 문제를 해결하고자 등장했으며 어떤 역할을 하는지 살펴보았다

여기서 드는 의문이 있어야한다

배치 정규화가 학습시 배치 단위로 계산한다면 테스트때는 어떻게 사용하지??

 

 

배치 정규화는 학습 시와 테스트 시 다르게 동작한다. 테스트시 단일 데이터에 대해서는 정규화를 할 수 없기에 학습시 평균과 분산의 지수 이동 평균(EMA : Exponential Moving Average) 을 사용한다

 

 

배치 정규화는 배치 사이즈가 작을수록 각 배치의 통계치(평균, 분산)가 전체 데이터의 실제 분포를 잘 반영하지 못할 수 있기 때문에 성능 차이가 생길 수 있다. 

이러한 배치 사이즈 의존성을 해결하고자 레이어 정규화라는 방법이 제안되었다

 

 

 

---

 

 

 

3-3. 레이어 정규화

 

레이어 정규화는 이름 그대로 레이어에 입력되는 데이터들을 정규화한다

배치 단위가 아닌 '데이터 하나'에 대해서 정규화를 하는 것이다

 

 

4개의 피쳐를 가진 데이터에 대해 배치 정규화는 같은 피쳐끼리 배치만큼 묶어서 평균과 표준편차를 계산했다면, 레이어 정규화는 데이터 하나에 대해 계산한다

 

💡이미지와 자연어 처리 작업시 서로 다른 정규화 방법이 선호된다

일반적으로 이미지 데이터에는 배치 정규화를, 자연어 데이터에는 레이어 정규화를 주로 사용한다

이런 차이가 있는 이유 중 하나는 Padding 토큰(Token) 때문이다

 

 

혁펜하임 - Easy! 딥러닝

• 위의 간단한 예시를 들면, 한글을 영어로 번역하는 모델을 만들기 위해 배치 사이즈를 3으로 설정하면 위 그림과 같이 세 개의 입력 문장이 동시에 처리된다
• 그러나 각 문장의 길이가 다르기 때문에 모든 문장을 같은 길이로 맞춰주는 것이 필요하다
• 이 때, 짧은 문장 끝에 생기는 빈 공간을 <pad> 라는 특별한 토큰으로 채워준다

 

혁펜하임 - Easy! 딥러닝

 

• 이 예시에 배치 정규화를 사용하면 위와 같이 세로축으로 계산되는데, 마지막 시점에서는 <pad> 토큰이 압도적으로 많아, 계산된 평균값이 토큰 값에 가까워지고 분산이 과도하게 작아질 수 있다
• 이로 인해 학습의 불안정성을 초래할 수 있다
• 대신 레이어 정규화를 사용한다면 문장 길이와 관계없이 각 샘플에서 독립적으로 정규화되므로 길이가 다른 문장이라도 큰 성능 저하없이 정규화를 적용할 수 있다
• 따라서 문장의 전체 길이를 맞추기 위해 토큰이 많이 사용되더라도 패딩을 제외한 문장들 기준으로 정규화가 가능하다

 

---

 

 

📌 배치 정규화(BN) vs 레이어 정규화(LN) 비교 정리

 

배치 정규화와 레이어 정규화를 비교 및 정리하자면 아래와 같다

 

Figura 11 Normalización por lotes y normalización por capas (Zhang & Zhang, 2019)

 

 

 

	배치 정규화 (BN)	레이어 정규화 (LN)
정규화 대상	같은 피처(feature) 기준, 배치 단위로 정규화	한 샘플(문장) 내 전체 차원(feature) 정규화
배치 크기 영향	배치 크기에 따라 정규화 값 변화	배치 크기에 영향 없음
패딩 영향	패딩 값이 많을 경우 평균/분산이 왜곡될 수 있음	패딩을 제외한 문장 내 단어 기준 정규화 가능
NLP 적용 여부	잘 사용되지 않음 (배치 크기 변동 문제)	주로 사용됨 (Transformer 등에서 활용)

 

레이어 정규화는 자연어 처리 뿐 아니라 ViT, Wsin Transformer, ConvNeXt와 같은 트랜스포머 계열의 비전 모델에도 널리 사용된다

 

 

 

 

---

 

 

 

지금까지 인공 신경망을 깊게 쌓을 때 발생하는 기울기 소실부터 이를 해결하기 위한 다양한 방법들과 배치 정규화, 레이어 정규화까지 살펴보았다

Easy! 딥러닝 책에는 CNN에 배치 정규화 적용 여부에 따른 레이어의 출력 변화와 피쳐맵의 학습 정도를 실험한 내용이 있으니 참고해도 좋을 것 같다

 

이번 내용은 단순히 책의 내용만을 정리하기 보단 정규화라는 해당 주제가 나오게 된 배경과 먼저 쓰였던 여러 방법론들까지 순차적으로 다루었다

딱 정규화만 다룰 수도 있지만 어떤 문제에서 시작해서 해결하기 위해 어떤 흐름으로 발전해왔는지 등장 배경을 이해하는 것이 큰 도움이 될 것이라 생각한다

수학적으로 공식을 한 줄씩 이해하고 구현까지 하진 못했지만 책을 통해 전체적인 개념을 다잡을 수 있어서 좋았다

입문자라면 이 책을 한번 보면서 공부하기를 추천한다

 

https://www.youtube.com/playlist?list=PL_iJu012NOxdw1jc3KEo8Mq5oD5SXKhLu

LEVEL 1: Easy! 딥러닝

 

 

 

 

 

 

 

 

---

 

 

 

 

 

본 게시글은 혁펜하임의 <Easy! 딥러닝> 책의 리뷰어 활동으로 작성되었습니다.

도서 구매 링크 1 (교보문고): https://product.kyobobook.co.kr/detail/S000214848175

도서 구매 링크 2 (출판사 자사몰): https://shorturl.at/yqZpW