핸즈온 머신러닝 7장. 앙상블

 

Intro

• 이번 글에서 다룰 내용은 앙상블 학습이다
• 어떤 하나의 복잡한 질문에 대해 수많은 사람들에게 답변을 듣고 모아 하나의 완성된 답을 만드는 것처럼 여러 개의 모델 예측을 모아서 더 좋은 예측을 만드는 방법을 앙상블이라 한다
• 이전 장에서 배운 결정 트리를 수십, 수백개 묶어서 하나의 거대한 모델 집합으로 만든 랜덤 포레스트도 살펴볼 것이다
• 앙상블에는 여러 개의 종류가 존재한다
  1. 보팅
  2. 배깅 & 페이스팅
  3. 랜덤 패치 & 서브스페이스
  4. 부스팅
  5. 스태킹 

이번 내용에서는 앙상블에는 어떤 종류가 있고 각 방법에 대해 살펴보도록 하겠다

 

---

 

왜 여러 개의 모델을 앙상블 했을 때 개별 모델보다 더 성능이 좋을까??

본격적으로 앙상블을 살펴보기 전에 이 점에 대해 간단하게 짚고 넘어가고자 한다

 

1. 큰 수의 법칙과 앙상블

앙상블을 실제로 사용해보면 앙상블 모델이 개별 모델의 성능보다 좋은 경우가 많은데 이 원리는 큰 수의 법칙에 의해 설명될 수 있다

 

1-1. 큰 수의 법칙

 

동전 던지기

 

간단한 예시로 동전을 던지면 앞면이 나올 확률이 51%, 뒷면이 나올 확률이 49%인 미세하게 불균형한 동전을 가정하겠다

➡️ 이렇게 주사위의 6이라는 숫자가 나올 확률이 6분의 1인 것처럼, 이론상의 확률을 수학적 확률이라 한다

 

 

 

• 1000번을 던진다면, 이론적으로 확률에 따라 앞면은 약 510번, 뒷면은 490번 나올 가능성이 크다. 앞면이 더 많이 나온다
• 하지만 1000번보다 적은 횟수를 던졌을 때 앞면이 51%보다 더 많이 나오거나 혹은 반대로 덜 나올 수 있다.
  즉, 적은 횟수에서의 확률의 변동이 클 수 있다
• 실제로도 그래프에서 2,000번 이하의 횟수에서 앞면이 나온 비율이 적게는 0.4에서 부터 0.6까지 다양하게 나오는 것을 볼 수 있다.
  이렇게 실제 데이터들이 쌓여서 얻어지는 확률을 통계적 확률이라 한다
• 2,000번까지는 확률의 변동서이 크지만 시행 횟수가 많아질수록 점점 줄어들어 수학적 확률(51%)에 수렴한다
• 이렇게  시행 횟수가 증가함에 따라 통계적 확률이 수학적 확률에 수렴하는 현상을 큰 수의 법칙이라 한다
  ➡️ 시행 횟수가 많아질수록 개별 시행의 결과가 전체적인 기댓값에 점점 더 가까워지는 것이 큰 수의 법칙의 핵심이다

 

 

❓ 큰 수의 법칙이란 개념에 대해서는 알았는데 그럼 이 개념이 앙상블에 어떻게 적용되는걸까?? 

• 동전 던지기 케이스마다 확률의 변동이 다른것처럼 각각의 모델은 서로 다른 예측 결과와 오차를 낼 수 있다.
• 한 모델이 특정 데이터에서 좋은 성능을 보이더라도 다른 데이터에서 성능이 떨어질 수 있고, 반대로 다른 모델이 그 약점을 보완할 수 있다. 즉 서로 다른 편향된 결과와 성능을 보여줄 수 있다
• 따라서 모델들을 결합할 경우 서로가 부족한 부분이 보완되며 개별 모델의 약점과 오류가 상쇄되며 더 나은 평균적인 예측을 할 수 있다
• 동전을 더 많이 던질수록 특정 확률로 수렴했던 것처럼, 앙상블에서 모델의 개수가 많아질수록 개별 모델의 편향된 예측은 상쇄되고, 전체 모델의 평균적인 예측이 더 정확해지는 효과를 얻게 되는 것이다

 

 

1. 다양성

앙상블에서 중요한 점은 단순히 모델을 많이 사용하는 것이 아니라, 서로 다른 모델을 사용하는 것과 데이터에서 다양성을 뽑아내어 학습하는 것이다.

각 모델이 데이터의 서로 다른 패턴을 학습하고, 다양한 관점에서 예측을 하므로, 이들이 결합될 때 오류가 상쇄되고 강점이 결합된다. 따라서 모델 간의 다양성이 성능 향상에 매우 중요한 역할을 한다.

 

 

2. 성능 향상의 메커니즘

앙상블은 단순히 개별 모델의 평균을 취하는 것이 아니라, 모델 간의 오류를 상쇄하는 효과를 극대화한다.

예를 들어, 100개의 모델 중 일부 모델은 잘못된 예측을 할 수 있지만, 대부분의 모델이 올바른 예측을 한다면, 전체 모델의 평균적인 예측은 개별 모델보다 훨씬 더 정확해진다.

또한, 이러한 방식으로 여러 모델이 예측에 참여할 때, 개별 모델이 과적합된 부분은 다른 모델에 의해 보완되고, 전체적으로 일반화 성능이 향상된다.

즉, 앙상블은 더 많은 데이터 패턴을 반영하고, 과적합을 방지하며, 예측 성능을 향상시키는 메커니즘이다.

 

 

➡️ 결론적으로, 앙상블의 성능이 개별 모델보다 좋은 이유는 큰 수의 법칙과 다양성의 반영에서 찾을 수 있다.

 

 

 

---

2. 보팅

 

핸즈온 머신러닝

 

보팅, 말 그대로 투표하는 것으로 여러 개의 모델들의 예측을 집계하여 가장 많은 표를 얻은 클래스를 앙상블의 예측으로 사용하는 것이다

보팅에는 예측을 다수결로 선택하는 하드 보팅과 확률값을 평균내어 선택하는 소프트 보팅이 있다

 

 

 

 

2-1. 하드 보팅

 

 

• 위의 그림처럼 각 모델이 예측한 클래스들에 대해 다수결 투표로 정해지는 앙상블을 하드 보팅(=직접 투표)라 한다
• 1과 2를 구분하는 이진 분류에서 4개 예측 중 3개는 1, 1개는 2로 예측하였고 3표를 받은 1로 앙상블 예측을 하고 있다
• 다수결 투표라는 특성 상 분류에만 사용가능하다
• 같은 클래스에 대해 모델들이 다른 확률로 예측하더라도 동일한 가중치를 부여하여 각 모델의 신뢰도를 반영하지 않는다

 

 

 

 

 

 

2-2. 소프트 보팅

 

 

• 하드 보팅은 모델이 예측한 클래스의 개수를 다수결로 집계하여 선택했다면 각 모델의 클래스 예측 확률을 평균내어 확률이 가장 높은 클래스를 예측하는 방법이 존재한다. 이를 소프트 보팅(=간접 투표)이라 한다.
• 그림의 예시처럼 3개의 각각의 클래스에 대해서 모델의 확률들을 평균을 내어 그중 65.6%로 가장 높은 2번 클래스를 정답으로 예측하는 것을 볼 수 있다
• 소프트 보팅을 사용하기 위해선 모델에서 클래스별 확률을 추출할 수 있어야한다
• 이 방법은 모델의 클래스별 신뢰도가 반영되어 확률이 높은 투표에 비중을 더 두기 때문에 하드 보팅보다 성능이 높다. 
• 실제로 앙상블은 하드보팅 보다 소프트 보팅을 더 많이 사용한다

 

 

 

 

---

3. 배깅과 페이스팅

 

 

보팅에서는 동일한 데이터에 대해 서로 다른 알고리즘을 사용하였다면 배깅과 페이스팅은 전체 데이터셋을 여러 개의 서브셋으로 분할하여 동일한 모델로 학습을 진행한다

➡️ 보팅이 여러 개의 모델을 통해 다양성을 구성한다면 배깅과 페이스팅은 데이터셋으로부터 다양성을 구성한다

 

서브셋을 구성할 때 데이터 샘플링에 중복을 허용하는지에 따라 배깅과 페이스팅으로 나눠진다

• 배깅 (Bootstrap aggregation) : 중복 허용 샘플링 방식
• 페이스팅 (Pasting) : 중복 허용 샘플링 x

앙상블의 예측은 보팅과 마찬가지로 분류의 경우 클래스 중 가장 많은 예측 결과나 또는 클래스의 확률과 회귀에서는 값의 평균을 통해 이루어진다

각각의 모델을 훈련시키기 때문에 동시에 여러 개의 CPU 코어나 서버에서 병렬로 학습과 예측을 수행할 수 있다는 장점이 존재한다

 

 

 

결정 트리 1개와 앙상블의 차이:

• 왼쪽 그래프는 단일 결정 트리를 학습시켰을 때의 결정 경계이다.
  트리가 하나일 경우, 결정 경계는 매우 불규칙하게 그려지는데 이는 결정 트리가 훈련 데이터에 과대적합(overfitting)하여, 각 샘플마다 세세하게 반응하는 경향이 있기 때문이다.
  즉, 훈련 데이터에서 오차는 작을 수 있지만 새로운 데이터에 대해선 예측 성능이 낮을 가능성이 높다.
• 오른쪽 그래프는 배깅(Bagging)을 사용한 결정 트리 앙상블이다.
  여기서 500개의 결정 트리를 학습시키고, 각각의 예측을 합쳐 최종 예측을 수행하는데 이 경우의 결정 경계는 덜 불규칙하고 더 부드럽게 그려진다. 이는 배깅을 사용하여 여러 모델의 예측을 결합하면, 개별 모델이 과대적합된 부분을 평균화하여 더 일반화된 예측을 할 수 있기 때문이다

 

✅ 단일 결정 트리는 훈련 데이터에 과대적합하는 경향이 있어 결정 경계가 매우 불규칙할 수 있지만, 앙상블을 사용하면 더 부드럽고 안정적인 경계를 만들 수 있다.

 

✅ 앙상블 기법은 개별 모델의 단점을 상쇄하여 더 나은 성능을 제공한다. 특히, 편향은 그대로 유지되지만 분산이 줄어들어 모델이 새로운 데이터에 더 강해진다.

 

✅ 배깅(Bagging)은 훈련 데이터에서 샘플을 무작위로 중복해서 추출하는 방식으로, 여러 하위 모델을 훈련시키고 그 결과를 평균하여 모델의 과대적합 문제를 완화한다

 

✅ 결정 경계의 변화를 통해 앙상블의 장점을 시각적으로 확인할 수 있다. 이를 통해 우리는 데이터에 대한 모델의 일반화 성능을 향상시키는 방법을 이해할 수 있다.

 

 

3-1. OOB 평가

• 배깅 방식은 중복을 허용해서 데이터를 뽑기 때문에 특정 데이터가 여러 번 사용되거나 전혀 선택되지 않을 수도 있다
• 데이터 샘플링을 할 때, 평균적으로 학습 데이터셋의 63%는 샘플링이 되고 나머지 37%가 선택되지 않는다고 한다.
• 이렇게 모델 학습에 사용되지 않은 데이터를 oob, Out-Of-Bag 샘플이라 부른다
• OOB 평가란 학습에 한번도 사용되지 않은 OOB 데이터를 모델 검증 및 평가에 사용하는 것이다.
• 이전에 테스트셋을 따로 분리하여 학습에 사용하지 않고 마지막으로 모델 평가에만 사용하는 것과 비슷한 맥락이다. 학습에 사용되지 않았기 때문에 테스트셋과 비슷한 성질을 띄는 것이다.
• 앙상블 평가는 이런 OOB 데이터를 각 예측기별로 평가에 사용한 뒤에 평균하여 얻을 수 있다

 

 

 

---

4. 랜덤 패치와 서브스페이스

 

이전의 배깅과 페이스팅에서는 데이터만 랜덤으로 샘플링하여 사용하였다. 

하지만 데이터와 특성도 같이 샘플링하는 방법이 존재한다. 

 

 

랜덤 패치와 랜덤 서브스페이스는 앙상블 학습에서 모델의 다양성을 증가시키기 위해 사용되는 기법으로, 데이터의 일부(특성이나 샘플)을 랜덤으로 선택하여 모델을 학습시켜 모델 간의 차이를 유도하고, 과적합을 줄이며, 일반화의 성능을 높이는데 도움을 준다

 

두 방법 모두 데이터의 다양한 부분을 사용하여 여러 개의 모델을 학습시키지만 선택하는 데이터의 종류가 다르다

 

🔶  랜덤 패치 방식 : 데이터의 특성과 샘플을 모두 샘플링한다. 이 방법은 데이터의 크기를 줄여 학습 속도를 높일 수 있다. 

🔶  랜덤 서브스페이스 방식 : 모든 데이터를 사용하고 특성만 샘플링한다. 특성이 많은 데이터라면 이 방법이 유용할 수 있다. 

 

 

타이타닉 데이터의 일부를 예시로 들자면

• 랜덤 서브스페이스는 전체 데이터를 가져오고 9개의 수치형 특성 중 3개를 랜덤으로 선택하여 가져왔다
• 랜덤 패치는 5개의 데이터 중 3개를, 4개의 특성을 랜덤으로 가져온 것을 볼 수 있다

 

 

 

 

 

 

---

5. 랜덤 포레스트

 

https://medium.com/@techynilesh/random-forest-algorithm-explained-in-less-than-5-minutes-a433dc295f94

 

 

앞의 배깅과 페이스팅 예시에서 결정트리 1개와 500개 배깅의 결정경계를 비교하였다

이 때 500개의 결정트리를 사용하는 앙상블이 바로 랜덤 포레스트이다

 

기본 개념

• 랜덤 포레스트란 여러 개의 결정 트리를 결합한 앙상블이다. 
• 단일 트리의 경우 훈련 데이터에 과대적합되기 쉽다. 랜덤 포레스트는 다수의 트리를 앙상블하여 개별 트리의 약점을 보완하고 과대적합 문제를 완화한다

주요 특징

• 배깅 :  랜덤 포레스트는 배깅의 대표적인 알고리즘이다. 훈련 데이터를 무작위로 샘플링하여 여러 개의 서브셋으로 개별 트리를 학습시킨다. 
• 랜덤성 : 랜덤 포레스트는 트리의 노드를 분할할 때 전체 특성 중 최선의 특성을 찾는 대신, 랜덤으로 선택한 특성 후보 중에서 최적의 특성을 찾는 식으로 무작위성을 더 주입한다
  기본적으로 n제곱근 개의 특성을 선택한다. 이를 통해 트리를 더욱 다양하게 만들고 편향을 손해보는 대신 분산을 낮추어 전체적으로 일반화된 모델을 만든다

장점

• 과적합 방지: 여러 개의 트리가 결합되어 있으므로, 단일 결정 트리보다 과적합 문제를 효과적으로 완화할 수 있다
• 안정성: 다양한 트리들이 결합되므로, 개별 트리가 부정확한 예측을 하더라도 전체 모델은 보다 신뢰할 수 있는 예측을 할 수 있다
• 유연성: 분류와 회귀 모두에서 사용할 수 있으며, 다양한 데이터 타입과 복잡한 관계를 효과적으로 학습할 수 있다
• 특성 중요도 측정: 랜덤 포레스트는 학습 과정에서 특성 중요도(feature importance)를 제공하므로, 어떤 특성이 예측에 중요한 역할을 하는지 파악할 수 있다
  • 2장의 피쳐 엔지니어링 부분에서 다뤘던 내용으로, 특성 중요도는 데이터셋의 각 특성이 모델 예측에 얼마나 기여하는지 평가한 지표이다
  • 어떤 특성의 중요도는 해당 특성을 사용한 노드가 평균적으로 불순도를 얼마나 감소시키는지를 측정한 값이다
  • 불순도를 많이 줄이면 그만큼 중요도가 커진다

붓꽃 데이터를 학습한 랜덤 포레스트의 특성 중요도

 

단점

• 느린 예측: 학습된 트리의 개수가 많으면, 예측에 걸리는 시간이 다소 길어질 수 있다. 
• 해석의 어려움: 개별 트리가 결합된 형태이므로, 단일 결정 트리에서 트리의 분할을 보면서 직관적으로 이해할 수 있는 것과 달리 예측 결과에 대한 해석이 어렵다

 

 

 

 

---

5-1. 엑스트라 트리

• 랜덤 포레스트에서 트리를 만들 때 각 노드는 랜덤으로 특성의 서브셋을 만들어 분할에 사용한다
• 트리를 더욱 랜덤하게 만들기 위해 최적의 임곗값을 찾는 대신 후보 특성을 사용해 랜덤으로 분할한 다음 그 중에서 최상의 분할을 선택한다
• 이렇게 극단적으로 랜덤한 트리의 랜덤 포레스트를 익스트림 랜덤 트리 앙상블, 줄여서 엑스트라 트리라 한다.

 

랜덤 포레스트와 엑스트라 트리 차이점

	랜덤 포레스트	엑스트라 트리
샘플링 방식	부트스트래핑 (중복 허용 샘플링)	전체 데이터 사용 (부트스트랩도 임의로 사용 가능)
노드 분할 기준	지니 불순도 계산을 통한 최적의 피쳐 선택	무작위로 피쳐 선정 및 임계값 선택

 

랜덤 포레스트는 결정 트리들로 구성되어 있으며, 트리 분할시 이전에 배웠던 트리의 동작 메커니즘, 지니 불순도가 낮아지는 방향으로 트리를 최적화하며 피쳐와 임계값을 설정하는 것을 따른다.

하지만 엑스트라 트리는 이런 분할 과정을 정말 무작위로 진행한다. 이런 무작위 분할로 랜덤 포레스트보다 학습 속도가 훨씬 더 빠르다.

단일 모델의 경우라면 이런 무작위성은 학습에 안 좋은 영향을 줄 수 있겠지만, 수많은 트리들을 사용함으로써 이러한 약점을 보완하였다.

 

 

---

6. 부스팅

 

 

부스팅이란 약한 학습기를 여러 개 연결하여 강한 학습기를 만드는 앙상블 방법을 말한다

부스팅 방법의 아이디어는 앞의 모델을 보완해 나가면서 일련의 예측기를 학습시키는 것이다

부스팅에는 대표적인 2가지 방법이 존재한다

 

1. 에이다 부스트 (AdaBoost)

2. 그레이디언트 부스팅 (Gradient Boosting)

 

둘 다 순차적으로 이전 모델의 결과를 바탕으로 예측 성능을 조금씩 높혀간다

하지만 순차적으로 학습하기에 배깅/페이스팅 방식과 달리 훈련을 동시에 진행할 수 없어서 훈련 시간이 훨씬 오래 걸릴 수 있다는 단점이 존재한다

 

➡️ 성능이 약한 하나의 모델에서 출발하여 선형적으로 차례대로 강력한 성능의 모델을 만들어가는 과정을 부스팅이라 한다

 

 

 

6-1. 에이다 부스트 (AdaBoost)

 

https://pubmed.ncbi.nlm.nih.gov/30006563/

 

• 에이다부스트는 여러 개의 약한 학습기를 순차적으로 학습시키며, 각 학습기가 이전 학습기의 오류를 보완하도록 한다
• 각 학습기는 전체 데이터의 가중치를 반영하여 학습되며, 잘못 분류된 샘플에 더 높은 가중치를 부여하여 다음 학습기가 이를 잘 학습하도록 유도한다
• 이렇게 하면 새로운 예측기는 학습하기 어려운 샘플에 점점 더 맞춰지게 된다

 

그림을 예시로 들자면 🔴동그라미와 🟦네모를 분류하고자 한다

• 첫번째 분류기, 결정 트리를 사용해 학습시키고 예측을 만든다. 첫번째 Iteration에서 결정 경계를 그렸을 때 🟦네모로 잘못 분류된 🔴동그라미들이 빨간색으로 표기되었다. 이렇게 모델이 잘못 예측한 훈련 샘플의 가중치를 상대적으로 높인다
• 두 번째 분류기는 잘못 예측한 샘플의 가중치를 높여서 업데이트된 가중치를 사용해 학습하고 다시 예측을 진행한다. 두번째 Iteration에서는 네모를 동그라미로 잘못 예측하였다. 마찬가지로 가중치를 더 부여하여 다음 학습에 적용한다.
• 이 과정을 반복하면서 잘못 예측한 데이터들에게 집중하면서 학습을 진행한다

 

업데이트 과정을 수식과 함께 살펴보면 어떻게 가중치가 부여되고 변화하며 업데이트가 되는지를 잘 이해할 수 있으나 수식 풀이가 핵심 내용이 아니므로 간단한 정리로만 보고 넘어가겠다

 

 

 

 

 

 

6-2. 그레이디언트 부스팅 (Gradient Boosting)

 

 

그레이디언트 부스팅은 AdaBoost처럼 순차적으로 모델을 업데이트하여 학습하는 건 동일하지만 AdaBoost처럼 반복마다 샘플의 가중치를 수정하는 대신 이전 예측기가 만든 잔여 오차, 잔차에 새로운 예측기를 학습시킨다

• 잔차는 예측값과 타깃 사이의 오차를 가리킨다.
• 오차가 최소값이 되는 방향으로 모델을 학습하는 법… 우리는 이전 4장 모델 학습에서 이런 학습 방법을 배웠다. 바로 경사하강법이다.
• 앞에서 배운 경사하강법은 모델 하나에 대해서 오차를 최소화하는 방향으로 학습하며 가중치 값을 업데이트했지만 이번에는 여러 개의 모델이 연속적으로 이어져있다는 차이점이 있다

 

 

• 이 예시는 3개의 결정 트리에 부스팅을 적용하여 각각의 데이터 포인트에 대해 모델의 예측값을 시각화한 것이다
• 예시 데이터는 x는 -10 ~ 9 범위, y는 -4~202 범위의 50개 정수 데이터로 이루어져있다
• 그래프를 보면 MSE값이 점차 감소하고 모델의 예측값이 데이터에 맞게 점점 더 정확해지고 있는 것을 확인할 수 있다

 

 

 

오차란 예측값과 실제값 사이의 차이이므로 적을수록, 0에 가까울수록 좋다.

모델을 거칠수록 오차가 0에 가까워지면서 모델 예측 성능도 같이 좋아지는 것을 볼 수 있다

 

 

• 배깅과 마찬가지로 부스팅도 사이킷런에 구현된 부스팅 모델이 존재한다
  • GradientBoostingRegressor는 결정 트리 모델을 부스팅하여 사용하는 모델로, 각 단계에서 CART(Classification and Regression Trees) 알고리즘을 사용하여 잔차(residuals)를 예측하는 방식으로 작동한다.
  • 이 모델에서 learning_rate 매개변수를 통해 각 트리의 기여도를 조절한다. learning_rate가 높으면 하나의 트리가 전체 예측에 미치는 영향이 커지고, 낮으면 트리의 기여도가 적어진다.
  • 따라서 learning_rate를 0.05 정도로 낮게 설정하면 앙상블이 더 많은 트리를 필요로 하게 되며, 이는 일반적으로 예측 성능을 향상시키는 효과를 가져올 수 있다. 이러한 방식은 축소(shrinkage)라고 불리는 규제 방법이다.
  • 트리의 반영도(기여도)와 학습에 사용되는 트리의 개수에 따라 모델의 학습 성능과 일반화 여부가 결정된다. learning_rate가 낮을수록 각 트리의 기여도가 작아지며, 그 결과 더 많은 트리를 학습해야 한다. 이는 과적합을 방지하고 모델이 훈련 데이터에 덜 민감하게 되어 일반화 성능을 향상시킨다.

 

 

위의 그래프는 서로 다른 하이퍼파리미터로 학습시킨 앙상블들이다.

왼쪽은 학습하기에 트리의 개수가 부족하여 과소적합된 모습을 보여주는 반면, 중앙은 조기 종료 설정을 통해 적절한 트리 개수를 사용하여 학습을 잘했으며 오른쪽은 과대적합된 모습을 보여주고 있다

이 그레디언트부스팅을 바탕으로 발전시킨 후속 모델들로는 XGMoost, Light GBM, CatBoost 등이 있다.

 

---

7. 스태킹

파이썬 머신러닝 완벽 가이드

 

마지막 앙상블 모델은 스태킹이다

앞의 앙상블 방법을 살펴보면 여러 개의 모델들을 통해 얻은 결과를 다수결로 투표하거나 확률을 평균내거나 또는 모델들을 연속적으로 이어서 학습시키는 접근을 취해왔다.

하지만 여러 개의 모델에서 나온 예측값을 학습해서 최종 예측하는 모델은 없을까?? 여러개의 예측값들과 실제값 사이의 어떤 관계가 있지 않을지, 이 점을 이용하는 것이 스태킹의 핵심 개념이다

 

• 그림의 예시를 보면 서로 다른 3개의 모델이 새로운 데이터에 대해 3.1, 2.7, 2.9를 예측하였다.
• 이 예측값들과 실제값을 묶어서 하나의 새로운 데이터셋으로 만든다. 이 데이터셋을 블렌더라 불리는 최종 모델에 학습시킨 뒤에 예측했을 때 3.0으로 최종 예측을 한다

 

 

좀 더 자세한 예시로 살펴보자면

 

 

 

1. 데이터셋

부동산의 데이터를 이용해 집의 가격을 예측하는 스태킹 모델을 만들려고 한다. 해당 데이터는 일부를 가져온 것이다

크기 (제곱미터)	방의 수	위치 등급	실제 가격 (단위 : 천달러)
100	3	2	250
150	4	3	350
200	3	4	450
250	5	4	600

 

 

2. 베이스 모델 학습 및 예측. ➡️ 메타 데이터셋 생성

서로 다른 4개의 모델, 최근접 이웃, 로지스틱 회귀, 랜덤 포레스트, SVM 회귀 모델에 크기, 방의 수, 가격이 들어있는 부동산 데이터를 학습시켰다

학습된 모델에 데이터셋에 대한 예측을 하면, 하나의 데이터마다 4개의 예측값이 나오게 되는데 이 값을 실제값, 정답과 묶어서 메타 데이터셋으로 만든다

KNN 회귀	로지스틱 회귀 (LR)	랜덤 포레스트 (RF)	SVM 회귀	실제값
260	255	265	270	250
340	355	345	360	350
460	450	455	460	450
590	610	580	600	600

 

3. 메타 모델 학습 및 최종 예측

그리고 이 메타 데이터셋을 메타 모델에 학습 시키고 최종 예측을 진행한다

스태킹은 이러한 과정을 통해 이루어진다

하지만 스태킹은 복잡하고 연산이 많이 들면서도 성능을 크게 향상시키는 것이 어렵기 때문에, 실무보다는 0.001 처럼 소수점 단위 성능이 중요한 챌린지나 대회 등에서 시도해보는 방법으로 많이 쓰인다

 

 

 

 

 

 

 

 

 

---

 

 

 

지금까지 앙상블의 종류와 각각의 개념, 알고리즘들에 대해 알아보았다

해당 내용에서는 앙상블이라는 것이 어떤 것이고 종류에는 어떤 것들이 있는지, 어떻게 동작하는지 전반적으로 내용을 다루었기에 깊이가 다소 부족한 부분은 있으나 해당 내용을 발표하고 블로그 글로 정리해보면서 앙상블의 전체적인 개념과 흐름에 대해 부족했던 부분을 채울 수 있었다

 

실제로 코드를 사용해 적용해보는 부분도 필요하겠지만 이 부분은 실무나 챌린지, 다른 공부 등에서 코드를 좀 더 중점적으로 다룬 내용으로 따로 작성해볼까 한다

다음 내용에서는 차원 축소에 대해 다뤄보도록 하겠다

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

참고자료

• https://quantdare.com/what-is-the-difference-between-extra-trees-and-random-forest/
•