핸즈온 머신러닝 4장. 모델 훈련

 

• 모델의 내부는 블랙박스와 같다. 모델 안에서 어떤 과정들이 이루어지는지 모른 채 2,3장에서 모델을 사용해왔다
• 단순히 모델만 사용한다면 모델 내부의 자세한 구조들과 연산 과정들을 자세하게 알 필요는 없다.
• 하지만 어떻게 작동하는지 잘 이해한다면 적절한 모델 및 훈련 알고리즘 선택, 모델 튜닝 등 모델 개선에 더 적합한 작업들을 할 수 있을 것이다
• 모델 훈련 과정을 이해하기 위해서 간단한 모델인 선형 회귀부터 시작한다. 모델의 파라미터를 찾는 방법에는 2가지가 있다
  1. 훈련 세트에 가장 잘 맞는 모델 파라미터를 직접 계산
  2. 경사 하강법이라는 반복적인 최적화 방식을 사용하여 모델 파라미터를 조정
     배치 경사 하강법, 미니 배치 경사 하강법, 확률적 경사 하강법 3가지 종류가 존재한다
• 선형 회귀에서 경사 하강법이라는 방법을 통해 어떻게 모델이 학습하는지를 살펴보고, 비선형 데이터를 학습할 수 있는 더 복잡한 모델, 다항 회귀를 다뤄볼 것이다
• 그리고 학습 곡선을 통해 모델이 잘 학습하고 있는지를 확인하고, 더 잘 학습할 수 있는 방법 중 하나인 규제에 대해 알아볼 것이다
• 마지막으로는 회귀라는 이름이지만 분류에 사용되는 로지스틱 회귀에 대해 배워보겠다

 

목차는 다음과 같다

 

1. 선형 회귀

2. 경사 하강법

3. 다항 회귀

4. 학습 곡선

5. 규제

6. 로지스틱 회귀

---

 

 

 

1. 선형 회귀

 

 

• 선형 회귀가 무엇일까?? 왜 처음부터 어려운 수식들이 들어 있는 이미지를 보여주는걸까??
  • 선형 회귀란 독립 변수와 종속 변수 사이의 관계를 직선 형태로 모델링하는 통계 기법을 말한다.
    간단히 말하자면 주어진 데이터에 가장 잘 맞는 직선을 찾는 것이다
• 사진의 식이 복잡해서 이해하기 어렵겠지만 이거 하나만 알고 있으면 된다.
  
  • 선형 회귀의 큰 틀은 y = ax + b라는 직선, 1차 방정식이고 여기서 x에 x0, x1, x2 이렇게 독립변수들이 더 늘어나면 다중 회귀라고 한다
• 아래의 그래프처럼 데이터들을 가장 잘 나타내는 직선을 찾는 것이 선형 회귀이다! 

 

선형 회귀 그래프

 

 

• 위의 식처럼 여러 개의 x와 모델 파라미터가 있는, 다중 회귀라면 행렬을 이용해 벡터 형태로 간단하게 표현할 수 있다. 첫번째 식에서는 ax1 + bx2 이런 식으로 하나하나 다 곱해져서 표현이 되어 있었다면 x와 a,b,c를 각각 하나의 행렬로 깔끔하게 정리한 것이다
• 2장에서 집값을 예측하는 회귀 문제를 다뤘는데 선형 회귀도 모델 중 하나로 사용했었다. 모델을 학습시킨다는 것은 정답값과 예측값이 최대한 가까워지도록, 두 값 사이의 오차를 최소화하는 최적의 파라미터를 찾는 것이다
• 여기서 모델이 찾는 파라미터는 y = ax + b에서 a값에 해당한다

 

 

---

2. 경사 하강법

 

2-1. 경사 하강법 기본 개념과 구성 요소

 

 

 

• 앞에서 잠깐 언급했듯이 모델의 파라미터를 찾는 방법으로 경사 하강법이라는 방법이 있다고 언급했었다.
  • 경사 하강법이란 모델이 데이터를 잘 맞출 수 있는 숫자를 찾게끔, 실제값과 예측값 사이의 오차를 최소화하는 숫자들을 찾는 방법이다. 최적화 알고리즘 중 하나로, 주어진 함수의 최소값을 찾는데 사용되는 탐색 방법이다.
  • 경사 하강법은 3가지 개념을 먼저 알아야한다
  • 첫 번째, 비용 함수. 이전의 발표에서 배운 내용으로 최소값을 찾는 함수를 비용함수(cost function) 라 하며, 선형 회귀에서 오차값을 계산하는, MSE, RMSE와 같은 손실 함수를 의미한다
  • 두 번째, 기울기. 함수의 기울기는 특정 지점에서의 변화율을 나타낸다. 기울기가 0이 되는 지점이 비용 함수의 최솟값 (또는 최댓값)일 가능성이 크다
  • 세 번재, 학습률. 각 단계에서 얼마나 크게 이동할지를 결정하는 파라미터이다. 학습률이 너무 크면 최소값을 지나칠 수 있고, 너무 작으면 수렴하는데 오랜 시간이 걸린다 == 학습시간이 오래 걸린다.
    
    

 

 

• 경사 하강법은 이 비용 함수를 최소화하기 위해 값이 작아지는 방향으로 반복하여 파라미터를 조정한다. 이 때 비용 함수의 기울기를 구하고, 기울기가 감소하는 방향으로 진행한다. 아래 사진에서 보듯이 기울기가 0이 되면 최솟값에 도달한 것이다

 

 

 

 

• 시작점은 임의의 값, 랜덤으로 결정하며 한 번에 조금씩 비용 함수가 감소되는 방향으로 진행하여 알고리즘이 최솟값에 수렴할 때까지 점진적으로 향상시킨다
• 그림을 보면 경사가 낮은 곳으로 한 번에 이동하는 것이 아니라 조금씩 이동하는 것을 볼 수 있다

 

 

 

• 경사 하강법에서 중요한 파라미터는 스텝의 크기로, 학습률 하이퍼파라미터로 결정된다. 학습률이 너무 작거나 클 경우 각각의 문제점이 발생한다
  • 학습률이 너무 작으면 꼼꼼하게 보기에 최소점을 놓칠 가능성이 낮아지겠지만 대신 시간이 너무 오래 걸린다
  • 반대로 학습률이 너무 크면 더 큰 값으로 발산하여 최소값을 못 찾을 수 있다

 

 

 

글로벌 미니멈과 로컬 미니멈

 

• 경사 하강법을 통해 loss값이 최소가 되는 지점을 찾을 수 있지만 대부분의 경우 위에서 예시로 든 그래프처럼 최소값 지점을 하나만 갖는 볼록함수 형태를 갖고 있지 않다.
• 경사 하강법의 문제점은 여러 개의 최소값 지점을 갖고 있다면 그 중 가장 작은 지점, 글로벌 미니멈을 찾아야 하는데 시작점 위치에 따라 주변에 비해 값이 작은 로컬 미니멈에 수렴할 수 있다는 점이다
• 이미지를 예시로 들자면 만약 시작점이 왼쪽이였다면 바로 글로벌 미니멈, 전체에서 가장 작은 최소값으로 수렴할 수 있을 것이다. 하지만 시작점이 오른쪽이라면 로컬 미니멈에 수렴하여 실제로 찾아야하는 글로벌 미니멈을 못찾을 수도 있게 된다.
• 시작점은 랜덤으로 결정되기 때문에 이러한 위치에 따라 수렴 속도, 모델의 학습 속도에서 차이가 존재할 수 있다.

 

 

 

 

 

추가로 앞에서 배웠던 스케일링이 경사 하강법에 영향을 줄 수 있다.

 

스케일링에 따른 경사하강법 비교

 

• 사진처럼 데이터의 특성들 스케일이 매우 다르면 한쪽으로 길쭉한 모양일 수도 있다
• 왼쪽의 경사 하강법 알고리즘은 최솟값으로 곧장 진행하고 있어 최소값에 빠르게 도달하지만, 오른쪽 그래프는 직각으로 돌아가기 때문에 결국 최솟값에 도달하겠지만 더 많은 시간이 걸리게 된다
• 따라서 경사 하강법의 수렴 속도를 높이기 위해서는 스케일링을 꼭 해줘야함을 알 수 있다.

 

---

 

 

 

책 혼공머신 - 경사 하강법의 종류와 비교

 

 

• 앞에서 잠깐 언급했지만 경사 하강법에는 3가지 종류가 존재한다. 배치 경사 하강법, 미니 배치 경사 하강법, 확률적 경사 하강법이 있으며 기준은 데이터를 몇 개씩 가져와서 경사 하강법을 적용할 것인지이다.
• 이미지의 설명대로 랜덤으로 한개씩 꺼내서 업데이트하면 확률적 경사 하강법, 여러 개를 꺼내면 미니 배치 경사 하강법, 전체를 꺼내면 배치 경사 하강법이라 한다.
• 각각의 케이스에서 어떤 차이가 존재하는지에 집중하면서 보면 좋을 것이다

 

 

 

 

 

2-2. 배치 경사 하강법

 

• 경사 하강법에 대해 설명할 때 최소값이 되는 방향으로 비용 함수의 기울기를 계산하고 파라미터를 업데이트한다고 이야기했다.
• 이 때 데이터 하나에 대해서만 기울기를 계산하여 업데이트를 할 수 있고 여러 개의 데이터에 대해서 일괄적으로 한번에 계산할 수도 있다.
• 전체 데이터를 사용하여 비용 함수의 기울기를 계산하고 파라미트를 업데이트 하는 방식을 배치 경사 하강법이라 한다.
  • 매 반복마다 전체 데이터셋을 사용하기 때문에 업데이트 횟수는 적지만 한 번의 파라미터 업데이트에 계산이 오래 걸린다.
  • 데이터셋이 클수록 계산 비용이 커지고 속도가 매우 느려진다. 파라미터 업데이트를 위해 모든 학습 데이터를 저장해야하기 때문에 데이터가 크다면 전체 데이터를 못 읽을 수도 있고 많은 메모리 용량을 필요로 한다
  • 전체 데이터에 대해 기울기를 계산하기 때문에 파라미터 업데이트와 수렴이 상대적으로 안정적이다.
  • 학습률이 적절하지 않으면 수렴이 느려질 수 있고, 로컬 미니멈에 빠질 위험이 있으며 만약 빠지게 된다면 빠져나오기 힘들다

 

 

 

2-3. 확률적 경사 하강법

 

• 배치 경사 하강법에는 계산 속도가 느리다는 문제점이 있었다. 반대로 확률적 경사 하강법은 매 반복마다 하나의 데이터를 랜덤으로 선택하여 기울기를 계산한다
• 확률적 경사 하강법에는 여러 특징들이 존재한다
  • 메모리 효율성. 한 번에 하나의 데이터를 메모리에 올려서 사용하기 때문에 대규모 데이터셋에서도 사용할 수 있으며, 메모리 사용을 효율적으로 할 수 있다. 데이터셋이 매우 크다면 배치 경사 하강법보다 확률적 경사 하강법이 더 빠르고 효과적이다.
  • 빠른 반복과 초기 수렴 속도. 매번 반복마다 다뤄야 할 데이터가 하나로 매우 적기 때문에 학습 속도와 업데이트가 빠르다. 따라서 초기 수렴 속도가 빠를 수 있다
  • 로컬 미니멈 탈출. 무작위성 때문에 로컬 미니멈에 빠지더라도 수월하게 탈출할 수 있다 
  • 노이즈. 한 번에 하나씩 데이터를 처리하기 떄문에 각각의 데이터의 영향을 크게 받는다. 데이터가 불균형하거나 이상치 등 노이즈가 많다면 수렴 과정이 진동하며 불안정할 수 있다
  • 학습 과정의 불안정 때문에 글로벌 미니멈에 쉽게 도달하지 못하고 주변에서 진동할 가능성이 있다

 

 

 

 

 

2-4. 미니 배치 경사 하강법

 

 

 

• 미니배치 경사 하강법. 배치 경사 하강법과 확률적 경사 하강법의 중간 방식으로써 미니 배치라는 작은 샘플 세트에 대해 경사 하강법을 수행한다
• 전체 데이터를 배치 사이즈로 나눠 배치 단위로 학습을 시키며 배치 사이즈는 사용자가 정하는 하이퍼파라미터이다
  예를 들어, 1000개인 데이터셋에서 배치 사이즈를 100으로 잡으면 10개의 미니 배치가 나온다
  100개씩 미니 배치를 갖고서 한 번씩 경사 하강법을 진행하여 1 epoch당 총 10번의 경사 하강법을 수행한다
  
  
• 미니배치 경사 하강법의 특징으로는
  • 전체 데이터셋을 한번에 처리하는 것보다 메모리 사용량이 적고, 계산 속도가 빠르다
  • 확률적 경사 하강법보다 더 안정적으로 학습할 수 있으며, 무작위성이 적어지기 때문에 SGD의 단점을 완화할 수 있다
  • 배치 사이즈의 크기에 따라 작으면 확률적 경사 하강법의 특징이, 크면 배치 경사 하강법의 특징이 나타나게 된다

 

 

 

배치 vs 미니배치 vs 확률적 경사 하강법 학습 비교

 

 

위의 그래프는 3개의 경사 하강법 학습 과정을 시각화하여 비교한 것이다

보다시피 배치 사이즈를 어느 정도로 선택하느냐에 따라 최적점에 도달하는 과정에 진동의 큰 차이가 존재한다

 

 

표로 각 방법에 대한 설명과 장단점을 간단히 정리해보면 다음과 같다

 

 

 

 

 

 

---

3. 다항 회귀

• 비선형 데이터는 직선이 아닌 곡선의 형태를 띄는 경우가 많다.
  그럼 선형 회귀를 사용할 수 없는걸까?? 신기하게도 비선형 데이터를 학습하는데 선형 회귀 모델을 사용할 수 있다
• 이는 각 특성의 거듭제곱을 새로운 특성으로 추가하고, 이 특성을 포함한 데이터셋을 모델에 학습시키는 것이다.
• 독립 변수 x와 종속 변수y 사이의 관계를 다항식으로 모델링하는 회귀 분석 기법을 다항 회귀라 한다. 선형 회귀와 달리 독립 변수x 와 종속 변수y 사이의 비선형 관계를 모델링할 수 있다는 점이 특징이다
• 간단하게 말하자면 앞에서 사용한 y = ax + b, 일차 방정식에서 y = ax^2 + bx + c 와 같은 2차 방정식, 또는 고차 방정식을 사용하는 것이다

 

위의 그림처럼 비선형 데이터들이 위치해있으며, 모델이 이를 따라 곡선을 그리며 예측하는 것을 볼 수 있다.

 

 

 

 

 

 

---

4. 학습 곡선

 

• 앞의 고차 다항 회귀의 예시를 가져와 더 자세히 설명하자면, 선형인 1차, 곡선인 2차항, 그리고 300차항 곡선까지 3가지 모델의 예측을 표현한 것이다
• 그림상으로 봤을 때
  • 1차 모델은 데이터들을 제대로 나타내지 못한다
  • 300차 모델은 데이터 하나하나에 너무 집중하여 두 모델 모두 데이터를 제대로 예측하지 못하는 것으로 보인다.
  • 2차 모델이 전반적인 데이터의 분포를 따르며 적합해보인다
  • 즉 300차는 심각한 과대적합, 선형 모델은 과소적합이라 할 수 있다. 가장 일반화가 잘 된 모델은 2차 다항 회귀이다
• 이렇게 모델을 하나씩 학습시켜 비교하면서 데이터에 적합한 모델을 선택할 수 있지만 그럼 매번 모델을 학습시키고 그래프를 그려보면서 선택해야 하는 걸까?? 얼마나 복잡한 모델을 사용할지 어떻게 결정할 수 있을까?? 어떻게 모델이 데이터에 과대/과소적합 되었는지 알 수 있을까??
• 이전 내용에서 모델의 일반화 성능을 추정하기 위해 교차 검증을 사용하였다. 훈련 성능은 좋지만 교차 검증 성능이 낮으면 과대적합, 둘다 낮으면 과소적합이라 판단하였다
• 또 다른 방법은 학습 곡선을 확인하는 것으로, 학습 곡선은 모델의 훈련 오차와 검증 오차를 훈련 반복 횟수의 함수로 나타낸 그래프이다
• 학습 곡선을 보는 이유는 ‘모델이 올바르게 학습되고 있는가’ 를 평가하기 위함이다. 우리는 모델이 새로운 데이터가 들어왔을 때 잘 예측하는, 모델의 일반화 성능을 평가할 기준이 필요하다

 

 

 

• 한가지 주의해야할 점으로는 책에서 다루는 학습곡선은 epoch와 loss로 그리는 그래프와는 다른 곡선이다
  • 아래 그래프를 보면 x축이 Training set size로 되어 있는데 이는 전체 데이터에서 학습에 사용할 데이터셋의 개수를 의미한다
  • 아래의 예시를 보면 전체 데이터셋 80개에서 학습에 사용할 데이터를 점차 늘리면서 loss의 변화를 보는 것이다

 

• 2가지 모델, 선형 회귀와 10차 다항 회귀 모델을 사용하여 학습했을 때의 학습 곡선이다
• 선형 회귀 모델의 경우 학습에 사용하는 데이터가 늘어날수록 loss값이 상승하더니 일정값에서는 훈련과 검증 loss값이 높게 유지되는 것을 볼 수 있다. 유지되는 건 모델의 성능 향상이 더 이뤄지지 않음을 의미하며, 우리는 모델이 데이터를 제대로 학습하지 못하는, 과소적합이라 판단한다
• 10차 다항 회귀 모델의 경우 훈련과 검증 성능 곡선 사이에 공간이 있는데 이는 검증 데이터에서보다 훈련 데이터에서 모델이 훨씬 더 나은 성능을 보인다는 뜻으로 과대적합의 특징이다. 더 큰 훈련 셋을 사용하면 두 곡선은 점점 가까워진다

 

 

 

epoch이 늘어남에 따라 loss의 변화 그래프

 

• 이 그래프는 epoch에 따른 검증셋과 훈련셋의 loss값의 변화를 비교한 그래프이다
• 보통 실무에서는 이런 형태의 그래프를 보면서 모델을 평가한다. ClearML이나 Wandb, MLFlow 등 모델을 학습하면서 실시간으로 성능을 표기하여 모니터링하기도 한다
• 이렇게 Epoch이 증가하면서 training loss는 감소하는데 validation loss가 증가한다면 과대적합이라 해석한다
• 이를 다루기 위한 방법은 뒤에서 더 자세하게 다루겠다

 

 

 

 

데이터와 예측 곡선을 통한 모델 평가 및 분석

 

 

• 이런 그래프도 같이 보면 좋다
• 데이터와 예측 그래프를 시각화했을 때 데이터의 분포와 예측 곡선이 어떻게 그려지는가를 보면서 모델과 데이터간의 관계를 파악하는 것이 중요하다.

 

---

5. 규제

• 앞의 내용에서 교차 검증과 학습 곡선을 통해 모델이 과소/과대 적합인지 알아보는 방법을 배웠다. 과대적합을 줄이는 좋은 방법 중 하나는 모델을 규제, 패널티를 주는 것이다
• 규제의 방법에는 릿지, 라쏘 회귀, 엘라스틱넷, 그리고 추가로 모델의 과도한 학습을 막는 조기 종료라는 방법이 있다

 

 

5-1. 릿지 회귀 (L2)

1. 비용 함수 및 규제 항에 대한 비유:

• 비용 함수와 규제 항을 더 쉽게 이해할 수 있도록 비유를 사용해 보겠다. 비용 함수(MSE)는 예측값과 실제값 사이의 차이를 측정하는 잣대이다. 우리가 맞추려고 하는 목표과 예측이 얼마나 차이 나는지를 알려준다.
• 규제 항은 마치 모델이 복잡해지지 않도록 경고음을 울리는 장치이다. 예를 들어, 운동할 때 목표 칼로리를 소모하는 것도 중요하지만, 동시에 과도한 운동으로 인해 부상을 입지 않도록 신경 써야 하는데, 여기서 규제 항은 부상을 방지하기 위한 안전장치 같은 역할을 한다.

 

2. 구체적 설명 추가:

• MSE는 예측값과 실제값 사이의 차이를 제곱해서 더한 다음, 데이터 개수로 나눈 값이다. 이렇게 하면 큰 오차는 더 크게 반영되어 모델이 이를 줄이도록 학습하게 된다.
• 릿지 회귀에서는 여기에 추가로 모델의 가중치(파라미터)를 제곱한 값을 더한다. 이렇게 하면 모델이 너무 큰 가중치를 갖지 않도록 패널티를 부여한다. 큰 가중치를 갖는 모델은 복잡해지기 쉽고, 이는 과적합(overfitting)을 초래할 수 있기 때문이다.

3. 사용하는 용어:

• 비용 함수 (Cost Function): 모델의 예측값과 실제값 간의 차이를 측정하는 함수로, 값이 작을수록 모델이 데이터를 잘 맞춘 다.
• 규제 항 (Regularization Term): 모델의 복잡성을 줄이기 위해 가중치에 패널티를 주는 추가 항목이다.
• 가중치 (Weights): 모델이 학습하는 파라미터로, 각 입력 특성(feature)에 곱해져 예측값을 만든다.

 

=> 비용 함수와 규제 항의 조화:

릿지 회귀는 비용 함수에 규제 항을 추가하여 모델이 학습하는 동안 오차를 최소화하면서도 가중치가 너무 커지지 않도록 한다. 이는 예측의 정확성을 높이면서도 모델의 복잡성을 줄이는 좋은 방법이다

 

 

 

공식의 알파는 모델을 얼마나 많이 규제할지 조절하는 하이퍼 파라미터이다.

알파가 0이면 릿지 회귀는 규제가 전혀 없는, 선형 회귀와 같아지고 알파가 매우 커지면 모든 가중치가 거의 0에 가까워져 결국 데이터의 평균을 지나는 수평선이 된다

 

 

---

5-2. 라쏘 회귀 (L1)

 

 

• 라쏘는 선형 회귀의 또다른 규제 방법으로, 기본틀은 릿지 회귀와 비슷하지만 패널티를 주는 계산이 제곱이 아닌 절댓값이라는 차이점이 있다
• 라쏘 회귀의 중요한 특징은 덜 중요한 특성의 가중치를 제거한다는 점이다. 가중치를 제거한다는 것은 0으로 만드는 것과 같다
• 이렇게 라쏘 회귀는 자동으로 덜 중요한 특성들은 제거하고 상대적으로 중요한 특성들을 선택한다는 특징이 있다

 

 

 

이전의 릿지 회귀와 다른 점이 있다면 바로 오른쪽 그래프에서 알파값이 1일때 나타나는 수평선이다.

알파가 1일때 규제가 매우 강해서 0이 되버린 가중치들이 너무 많아서 수평선을 그리는 것을 확인할 수 있다

 

 

---

5-3. 엘라스틱넷

 

• 엘라스틱넷 회귀는 릿지 회귀와 라쏘 회귀를 결합한 선형 회귀 모델이다. 두 가지 규제 방식의 장점을 모두 활용하면서, 특정 상황에서는 두 방식의 단점을 보완하기도 한다.
• 규제항은 릿지와 라쏘의 규제항을 더한 것이며, 혼합 비율을 r로 조절한다. r=0이면 릿지 회귀, r=1이면 라쏘 회귀가 된다

• 그럼 일반 선형 회귀, 릿지와 라쏘, 엘라스틱넷을 언제 사용하면 좋을까??
• 규제가 약간 있는 것은 대부분의 경우에 좋으므로 일반 선형 회귀는 피하는 것이 좋다. 보통 릿지를 기본적으로 사용하지만 몇 가지 특성들만 유용하다고 생각되면 불필요한 특성들을 제거하는 라쏘나 엘라스틱넷이 더 적합하다

 

 

---

5-4. 조기종료

• 앞의 경사 하강법에서 보면 알 수 있듯이 우리는 모델을 학습할 때 같은 연산을 반복적으로 수행하는 것을 확인할 수 있었다
• 그리고 학습이 진행됨에 따라 RMSE와 같은 loss변화를 보면서 성능이 어떻게 변화하는지 분석하는 방법도 배웠다
• 이렇게 반복적인 학습 알고리즘을 규제하는 또다른 방법이 있는데 바로 검증 오차가 최솟값에 도달하면 훈련을 중지시키는 것으로 이를 조기 종료라 한다

 

• 앞의 학습 곡선에서 사용했던 그래프를 보면서 설명해보자면 이렇게 epoch이 증가, 학습을 반복하면서 검증 오차가 감소하다가 다시 상승하는 부분이 존재하는데 이는 모델이 훈련 데이터에 과대적합되기 시작했음을 의미한다
• 따라서 이런 검증 오차가 최소에 도달할 때 훈련을 멈춤으로써 과대적합을 예방하고 불필요한 연산을 줄이는 효율적인 학습을 할 수 있다. 간단하면서도 매우 효과적인 방법이다

Epoch과 Loss인 RMSE가 자세하게 나와있는 그래프

 

 

 

 

 

 

 

 

 

---

6. 로지스틱 회귀

• 일부 회귀 알고리즘은 분류에도 사용할 수 있는데 로지스틱 회귀는 데이터가 특정 클래스에 속할 확률을 예측하는데 사용된다
• 예측 확률이 기준, 임곗값보다 크면 모델은 샘플이 해당 클래스에 속한다고 예측한다

 

로지스틱 회귀의 특징

1. 이진 분류 모델: 주로 이진 분류 문제에서 사용되며, 출력값을 0과 1 사이의 확률로 예측한다.
2. 확률적 해석: 예측된 값은 특정 클래스에 속할 확률로 해석될 수 있다.
3. 선형 결정 경계: 입력 특징의 선형 결합을 사용하여 결정 경계를 형성한다.
4. 해석 가능성: 모델의 가중치는 각 입력 특징이 결과에 미치는 영향을 설명하는데 유용하다.
5. 확장 가능성: 다중 클래스 문제에서는 소프트맥스 회귀로 확장될 수 있다.

로지스틱 회귀의 장점

1. 단순성과 해석 가능성: 모델이 단순하고 가중치가 해석 가능하여, 각 특징의 영향력을 이해하기 쉽다.
2. 효율성: 비교적 계산 비용이 적고, 대규모 데이터셋에서도 빠르게 학습할 수 있다.
3. 확률 예측: 각 클래스에 속할 확률을 제공하므로, 의사 결정 과정에서 유용하다.
4. 정규화 용이: L1(라쏘) 또는 L2(릿지) 정규화를 쉽게 추가할 수 있어, 과적합을 방지하는 데 효과적이다.
5. 확장성: 다중 클래스 문제에 대해 소프트맥스 회귀로 확장 가능하며, 다중 레이블 분류에도 적용할 수 있다.

로지스틱 회귀의 단점

1. 선형 결정 경계의 한계: 입력 특징의 선형 결합을 사용하므로, 데이터가 선형적으로 구분되지 않을 때는 성능이 떨어질 수 있다.
2. 다중 공선성 문제: 특징들 간의 상관관계가 높을 때, 모델의 가중치가 불안정해질 수 있다.
3. 스케일링 필요: 입력 특징의 스케일이 서로 다르면 성능이 떨어질 수 있으므로, 특징 스케일링이 필요하다.
4. 대규모 데이터셋에서의 성능 한계: 매우 큰 데이터셋이나 고차원 데이터셋에서는 다른 더 복잡한 모델(예: SVM, Random Forest)이 더 나은 성능을 보일 수 있다.
5. 비선형 관계 처리 어려움: 비선형 관계를 처리하기 위해서는 폴리노미얼 특징이나 커널 변환 등의 추가 전처리가 필요하다.

---

6-1. 로지스틱 회귀의 확률

• 그럼 로지스틱 회귀는 어떻게 작동하는걸까??
• 먼저 선형 회귀부터 보자면, 우리는 선형 회귀를 통해 어떤 값을 출력하고 예측하는데 사용했다
• 그렇게 선형 회귀 모델이 작동하는 것처럼 값을 계산하는 것까지는 동일하지만 마지막에 선형 회귀에서 출력된 값을 확률로 변환해주는 부분이 존재한다

 

선형 회귀와 로지스틱 회귀

 

• 왼쪽은 일반적인 선형 회귀의 모습이며, 오른쪽의 그래프는 왼쪽의 선형 회귀 모델의 출력값들이 시그모이드라는 함수를 거친 다음에 중간에 있는 선, 기준값에 따라 0과 1로 분류가 된 모습이다
• 시그모이드 함수는 모든 입력값을 0과 1사이의 값으로 변환해주는 특징이 있기 때문에 확률값으로 변환할 수 있게 된다
• 여기 그래프에서는 0.5를 기준으로 0.5미만은 0, 0.5이상은 1로 이진분류를 하고 있다.

 

 

 

---

 

 

지금까지 모델이 어떤 방법을 통해 학습이 되고 여러 가지 규제와 로지스틱 회귀까지 살펴보았다

책 내용을 따라가다보면 수식적인 부분들이 많아서 이해 안고 막힐 수도 있을 것이다

하지만 뒤로 갈수록 딥러닝에서도 여기서 배운 개념들이 다시 또 등장하기 때문에  이해할 수 있는 부분까지만 보고 한번에 100% 이해하려고 하지 않아도 괜찮다고 생각한다

다음 5장에서는 분류와 회귀에서 잘 쓰이는 SVM, 서포트 벡터 머신에 대해 알아보겠다