핸즈온 머신러닝 6장. 결정 트리

Intro

• 결정 트리는 분류와 회귀에 두루두루 쓰이며 매우 복잡한 데이터셋도 학습할 수 있는 성능이 뛰어난 알고리즘이다
• 또한, 현재도 자주 사용되는 좋은 알고리즘인 랜덤 포레스트의 기본 구성 요소이기도 하다
• 이번 챕터에서는 결정 트리의 훈련, 시각화, 예측 방법을 살펴보고 트리에 규제를 주는 법, 회귀 문제에 적용하는 방법 등을 볼 것이다

 

---

 

1. 결정 트리 기본 개념 및 시각화

 

1-1. 결정 트리 시각화

 

출처 : 텐서플로우 블로그 - 2.3.5 결정 트리

 

 

• 위의 사진은 결정 트리의 개념을 간단하게 표현한 그래프이다
• 결정 트리를 설명할 때, 스무고개에 많이 비교한다.
• 입력된 하나의 데이터가 어떤 정답을 가지고 있는지 여러 개의 질문을 던져 예/아니오를 반복하면서 학습 및 예측하는 것이다
• 그림의 예시를 보자면 매, 펭귄, 돌고래, 곰 4개의 동물을 3개의 질문을 통해 구분하고 있다
  • 첫 질문, 날개의 유무에 따라 분기를 나눈다
    • 날개가 있다면 ➡️ 날 수 있는가?
    • 날개가 없다면 ➡️ 지느러미가 있는가?
    • 각각의 데이터가 갖고 있는 특징을 질문을 통해 잘 구분하고 있다
  • 따라서 결정트리는 어떤 질문을 하는지, 어떤 것을 기준삼아 질문할 것인지 정하는 것이 중요하다. 이 부분은 뒤에서 좀 더 자세하게 다룰 것이다
• 이렇게 질문, 특정 기준에 따라 데이터를 구분하는 모델을 결정 트리라 한다. 

 

1-2. 구성요소

머신러닝 완벽가이드 - 결정 트리

 

 

위의 이미지를 보면 각 깊이와 위치별로 이름을 가지는 것을 볼 수 있다. 

• 루트 노드 :
  깊이가 0인 맨 꼭대기의 노드. 
  
  
• 분할 노드 :
  =규칙 노드. 데이터를 분류하기 위한 질문을 기준으로 두 개의 노드가 분할되는 노드. 
  상위 노드에서 아래로 분기되는 노드들을 자식 노드라 한다
  
  
• 리프 노드: 
  분류 결과를 가지는 노드. 자식 노드를 가지지 않음. 

 

 

 

---

2. 예측

 

2-1. 결정 트리 예측 과정

 

붓꽃 데이터를 사용한 예시를 하나씩 따라가면서 트리가 어떻게 예측을 하는지 살펴보겠다

파라미터 설명

• samples : 각 노드에 해당하는 데이터 개수. 
• value : 클래스별 데이터 개수. 
  데이터셋의 클래스는 setosa, versicolor, virginica 순이며, 이 순서대로 분포되어 있는 데이터 개수이다
• class : 조건에 해당하는 클래스. 예측값
• gini : 지니 불순도. 학습의 방향을 잡아주는 기준. 
  자세한 내용은 뒤에서 다뤄보겠다. 

 

새로 입력받은 데이터 꽃잎의 길이에 따라

 

1. 꽃잎의 길이(petal length)가 2.45cm보다 작은 경우 (petal length (cm) <= 2.45) : 

• 먼저 루트 노드, 맨 꼭대기의 노드에서 시작한다.
• 이 노드에서는 꽃잎 길이가 2.45cm보다 짧은지 검사한다.
  더 짧다면 True, 왼쪽 자식 노드로 이동하고 2.45cm보다 길다면 False, 오른쪽 자식 노드로 이동한다. 
• 왼쪽 노드의 경우 조건을 충족시켰기에 추가적인 검사를 하지 않는다. 
• 노드에 있는 예측 클래스를 보고 결정 트리가 입력받은 데이터에 대해 Setosa라고 예측한다

 

2. 꽃잎의 길이(petal length)가 2.45cm보다 큰 경우 (petal length (cm) > 2.45) : 

• 이 경우 오른쪽 자식 노드로 이동한다.
  오른쪽 노드에서 또 다른 조건으로 자식 노드들이 생겨나므로 이 노드는 리프 노드가 아닌 분할 노드이다
• 오른쪽 노드에서는 꽃잎의 너비가 1.75cm보다 작은지를 검사한다.
  1.75cm보다 작다면 왼쪽으로 이동하여 클래스는 versicolor를, 크다면 오른쪽으로 이동하여 virginica로 예측한다

 

 

위의 트리 그래프를 데이터와 결정 경계로 그려보면 다음과 같다

 

• 각 노드에 있던 조건으로 데이터들이 직선과 점선으로 분리되는 것을 직접 확인할 수 있다
• 결정 트리는 우리가 앞에서 배웠던 분류나 회귀 모델과는 달리 모델이 어떻게 학습하고 판단하는지를 직관적으로 보고 이해할 수 있는 ‘화이트박스’ 모델이다

 

---

 

트리 구조의 그래프를 보면서 결정 트리가 여러 질문들을 통해 데이터들을 분류하고 예측하는 과정을 살펴보았다

하지만 petal length (cm) <= 2.45 와 같은 질문을 어떤 기준을 통해 결정하는걸까?? 

데이터에는 많은 피쳐들과 값들이 존재하는데 여기서 어떤 피쳐와 어떤 값을 사용해야 분류를 잘하는 모델이 되는걸까?

 

🎯 이런 특성과 임계값을 선택하는 과정은 매우 중요한 부분으로, 트리 학습의 핵심 과정이며 데이터의 분포에 따라 모델의 예측 성능이 달라지게 된다.

 

➡️ 결정 트리에서 트리를 생성하며 분류할 때 각 노드에서 사용되는 특성과 임계값을 선택하는 과정에서 일반적으로 사용되는 알고리즘이 바로 CART(Classification And Regression Tree) 이다.

 

이전에 배운 회귀 모델들은 예측값과 실제값 사이의 오차(MSE..etc) 를 최소화하는 방향으로 학습을 진행했다

➡️결정 트리가 기준 삼은 값은 바로 지니 불순도(gini impurity)와 엔트로피(Entropy)이다

 

CART 알고리즘은 각 분기점에서 데이터의 불순도를 최소화하는 특성과 임계값을 선택한다

 

지니 불순도 및 엔트로피, CART 알고리즘의 각각의 개념과 공식, 간단한 예시를 보면서 결정 트리의 학습 과정에 좀 더 자세하게 알아보도록 하겠다

 

 

---

 

2-2. 불순도 (Impurity)

결정 트리는 각 노드에서 데이터를 최대한 순수하게 나누는 것이 목표이다.

이를 위해 측정하는 두 가지 대표적인 방법이 지니 불순도(Gini Impurity) 와 엔트로피(Entropy) 이다

 

지니 불순도 (Gini Impurity)

 

 

pi는 클래스 i에 속할 확률로, 지니 불순도는 각 샘플이 특정 클래스에 속할 확률을 제곱한 값을 더한 후 1에서 빼는 방식으로 계산된다. 

불순도 값의 범위는 0과 1사이로, 0에 가까우면 하나의 클래스만 존재하며 순수해지고 1에 가까울수록 불순도가 높다

 

 

위의 그래프는 임의의 클래스 1에 속하는 데이터 비율에 따른 지니 불순도의 변화를 나타낸 것이다

클래스 1의 비율이 0.5일 때 지니불순도가 가장 높고 클래스 1 또는 다른 클래스 비율이 0이나 1로 치우칠수록 지니 불순도가 낮아지게 된다.

➡️ 데이터가 한 클래스에 몰려있을 때 불순도가 가장 낮고, 두 클래스가 섞여 있을 때 불순도가 높아진다

 

지니 불순도 간단 예시

 

 

 

 

위에서 사용한 데이터의 예시를 통해 직접 지니 불순도를 계산해보겠다

 

 

첫번째, 루트 노드는 총 150개의 데이터가 있으며 setosa, versicolor, virginica 순으로 각 클래스별로 50개의 데이터가 담겨있다

• 각 클래스별 확률은 총 데이터 개수와 클래스 데이터 개수의 비율이다. 50/150, 총 1/3이라는 3개의 확률값이 나온다
• 1에서 이 확률값들의 제곱을 뺀다. 

• 최종 값은 2/3, 대략 0.6667의 값이 나온다
• 다른 노드들도 이런 방식으로 지니 불순도를 계산한다.
• 깊이 1의 주황색 왼쪽 노드는 전체 데이터 중에 한 클래스의 데이터만 존재하므로 순수하다고 할 수 있다.
  따라서 지니 불순도가 0이 나오는 것을 확인할 수 있다

 

 

 

 

 

 

엔트로피 (Entropy)

엔트로피는 분자의 무질서함을 측정하는 열역학의 개념에서 다양한 분야로 적용되었다

결정 트리에서의 엔트로피는 불확실성, 또는 예측의 어려움을 나타내며 클래스 분포가 고르게 섞여 있을 때 엔트로피 값이 크다. 값이 낮을수록 데이터가 한쪽 클래스에 치우쳐있어 불순도가 낮아진다. 

 

 

 

 

지니 불순도의 예제로 사용했던 루트노드의 엔트로피를 계산해보면 

• 클래스별 확률값, p가 식에 들어가서 계산되고 노드의 엔트로피 값이 1.585가 나오는 것을 볼 수 있다. 

 

 

 

 

 

 

2-3. CART 알고리즘

 

결정 트리는 학습을 진행할 때, 즉 트리를 분할할 때 CART(Classification And Regression Tree) 알고리즘을 사용한다

이름에서 나와있듯이 분류와 회귀 모두 사용가능하며, 태스크에 따라 사용하는 기준값이 달라진다

• 분류 : 지니 불순도와 엔트로피를 최소화
• 회귀 : 평균 제곱 오차(MSE)와 같은 오차값 최소화

 

 

 

1. 가능한 모든 특성과 임계값 시도

• CART 알고리즘은 각 노드에서 모든 특성에 대해 가능한 모든 임계값 (특성의 특정 값 기준)을 시도하여 데이터를 분할한다
• 각 특성 값의 중간값을 기준으로 두 개의 그룹을 나누며, 이를 반복하여 각각의 분할에 대해 불순도를 계산한다ex) 피쳐 'petal length'가 있다면, 이 피쳐의 값들 중 하나를 임계값으로 정해서 그보다 큰 값, 작은 값으로 데이터를 나눔

 

2. 분할 후 불순도 계산

• 각 분할에서 불순도를 계산하는데, 트리는 불순도를 줄이는 방향으로 분할을 시도한다.
• 위의 식을 통해 분할을 나눈 뒤 각각의 자식 노드의 불순도 값을 계산해보고 어떻게 나눴을 때 불순도가 낮은지를 탐색한다

 

3. 최적의 특성과 임계값 선택

• 모든 특성과 임계값에 대해 불순도를 계산한 뒤, 가장 불순도가 낮아지는 분할을 선택한다
  ➡️ 데이터가 가장 잘 구분되는 특성과 임계값을 찾는다 

 

4. 탐색 반복

• 해당 노드의 최적의 특성과 임계값이 선택되면, 데이터를 두 개의 자식 노드로 분할한 후, 각 자식 노드에 대해 다시 같은 과정을 반복한다
• 이 과정은 데이터가 순수해지거나(한 클래스만 존재함) 더 이상 분할할 데이터가 없을 때까지 또는 사용자가 지정한 깊이까지만 반복하게 된다

 

 

---

2-4. 결정 트리의 확률

 

이전 모델 학습에서 예측 클래스에 대한 확률을 계산할 수 있었던 것처럼 결정 트리에서도 예측 확률을 얻을 수 있다

 

 

 

위의 예제를 통해 학습한 모델에 petal lengh = 5cm, petal width = 1.5cm인 새로운 데이터를 입력하여 예측을 진행할 때 False, True를 거쳐 깊이 2인 초록색 노드로, versicolor로 예측한다

그럼 versicolor로 예측한 확률은 어떻게 계산하는걸까??

• 길이가 5cm, 너비가 1.5인 꽃을 샘플로 넣었을 때 각각의 클래스의 확률은
  • 분할 조건에 따라 초록색 노드에 도착
  • 해당 노드의 전체 데이터 개수는 54개 
  • setosa는 0% (0/54)
  • Versicolor는 90.7% (49/54)
  • Virginica는 9.3% (5/54)

➡️ 노드의 전체 데이터와 각 클래스별 비율을 계산하여 가장 높은 확률의 클래스로 예측한다

 

 

---

3. 회귀

 

지금까지 결정 트리의 분류에 대해 주로 알아보았는데 회귀도 전체적인 틀은 비슷하지만 기준을 불순도가 아닌 오차값을 최소화하는 것에 차이점이 존재한다

 

 

• 앞서 분류 트리와 비슷해 보이지만, 결정 트리 회귀에서는 각 노드에서 클래스를 예측하는 대신 연속적인 값을 예측한다는 큰 차이점이 있다.
• 그래프에서 빨간 색으로 표기된 것처럼 squared_error라는 지표가 사용되며, 이는 우리가 배웠던 MSE(Mean Squared Error, 평균 제곱 오차)이다.
• 탐색 과정은 분류와 동일하다.
  ✅ 각 노드에서 조건에 따라 데이터를 분할하고, 분류에서 불순도를 낮추는 방향으로 탐색했던 것처럼, 회귀에서는 오차(에러)를 최소화하는 방향으로 노드를 분할한다.
• 여기서 많은 사람들이 가질 수 있는 궁금증은, 분류 트리에서는 조건에 따라 클래스를 예측했지만, 회귀에서는 어떻게 범위가 넓은 숫자 값을 예측할 수 있느냐는 것이다. 나 역시 이 부분이 궁금했었다.
  
  • 답은 간단하다.
    ➡️ 트리가 최종적으로 리프 노드에 도달하면, 해당 노드에 속하는 데이터 포인트들의 타깃 값의 평균을 예측값으로 사용한다.
  • 예를 들어, x1=0.2x_1 = 0.2x1​=0.2라는 샘플에 대한 타깃 값을 예측하려고 할 때, 각 노드의 조건을 거쳐 리프 노드에 도달한 후, 그 리프 노드에 포함된 110개의 샘플에 대한 타깃 값들의 평균을 예측값으로 사용한다. 이 예측값은 0.028로 계산되었다.
  • 이때, 예측값인 0.028을 사용하여 해당 리프 노드 내 110개 샘플에 대한 평균 제곱 오차(MSE)를 계산하면 0.015가 된다.

 

트리의 깊이에 따른 예측값 범위 비교

• 위의 그래프는 결정 트리를 이용해 회귀를 했을 때 데이터와 트리 깊이에 따른 경계선으로 예측값의 범위를 비교한 것이다
• 분류처럼 트리를 통해 공통되는 범위를 나눔으로써 범위 내의 평균값으로 예측하는 것을 직관적으로 확인할 수 있다
• 트리의 깊이, depth가 깊어질수록 더 구간을 촘촘하게 쪼개서 데이터에 맞춰진다

 

 

 

 

---

4. 결정 트리 규제

• 선형 모델을 사용하려면 데이터가 선형적일거라 가정하지만 결정 트리는 이러한 훈련 데이터에 대한 제약 사항이 거의 없다
• 규제가 없다면 트리는 불순도가 0에 가깝도록 계속 분할하게 되고 따라서 훈련 데이터에 아주 가깝게 맞추려고 하기 때문에 과대적합되기 쉽다
• 결정 트리의 수많은 모델 파라미터는 훈련되기 전에 파라미터 수가 결정되지 않으므로 비파라미터 모델이라 한다
• 따라서 모델 구조가 데이터에 맞춰져서 고정되지 않고 자유롭다
• 반면 선형 모델 같은 파라미터 모델은 모델 파라미터 수가 미리 정해져있으므로 자유도가 제한되어 과대적합될 위험이 줄어든다
• 앞에서 배운 규제를 이용해 과대적합을 피해야한다. 트리에서 규제에 사용되는 몇 가지 하이퍼 파라미터들이 존재한다
  • max_depth : 결정 트리의 최대 깊이
  • max_features : 각 노드에서 분할에 사용할 특성의 최대 수
  • max_leaf_nodes : 리프 노드의 최대 수
  • min_samples_split : 분할되기 위해 노드가 가져야 하는 최소 샘플 수
  • min_samples_leaf : 리프 노드가 생성되기 위해 가지고 있어야할 최소 샘플 수
  • min_weight_fraction_leaf : min_sample_leaf와 같지만 가중치가 부여된 전체 샘플 수에서의 비율
• min으로 시작하는 매개변수를 증가시키거나 max로 시작하는 매개변수를 감소시키면 모델의 규제가 커진다

 

결정트리 분류 - 과대적합 vs 규제를 통한 일반화

 

이 그래프는 규제 유무에 따른 분류 결정 트리 학습 결과를 시각화하여 비교한 것이다

• 규제가 없는 경우 표시한 곳처럼 극소수의 데이터를 포함하고자 지나치게 데이터에 집중되어 과대적합된 것을 볼 수 있다.
• 이러한 부분은 min_samples_leaf=5라는 규제를 통해 리프 노드가 생성되기 위한 최소한의 샘플수를 올림으로써 과대적합을 해결하였다

 

회귀 과대적합과 일반화

 

이번에는 리프 노드당 최소 샘플 개수를 10개로 설정하여 규제의 효과를 시각화한 그래프이다

 

회귀도 마찬가지다. 적절한 규제가 이뤄지지 않으면 데이터마다 집중하는데 분류는 클래스가 존재하지만 회귀는 연속된 값이기에 범위가 훨씬 넓어서 과대적합의 경우 더 극단적인 모습을 보인다

• 리프 노드당 최소 샘플 개수가 설정되지 않으면 1개를 디폴트값으로 사용하기 때문에 왼쪽의 그래프를 보면 데이터 하나하나에 예측값이 변동하여 맞추려는 모습을 볼 수 있다
• 반면 최소 샘플 개수를 10개로 설정할 경우 10개의 데이터의 평균값을 예측으로 사용하여 각 범위별로 일반화가 되는 것을 볼 수 있다

과대적합 트리의 리프노드들

• 이 사진은 리프 노드당 최소 샘플 개수를 설정하지 않은, 규제가 없는 트리의 구조를 일부 가져온 것이다
• 자세히 보면 마지막 리프 노드들에서 samples = 1, 데이터가 하나씩만 담겨있고 예측값도 0.233, 0.246 이렇게 미세하게 변경되며 값을 예측하는 것을 볼 수 있다

 

 

---

5. 결정 트리의 추가적인 특징

 

 

5-1. 축 방향에 대한 민감성

• 지금까지 트리의 구성 요소와 학습 과정, 규제 등을 살펴보면서 결정 트리가 장점이 많음을 알게 되었다
• 결정 트리는 비교적 이해하고 해석하기 쉬운, 직관적이며 사용하기 편하고 여러 용도로 사용할 수 있고 성능도 뛰어나다
• 하지만 몇 가지 제한 사항이 존재한다
• 지금까지 그래프에 트리의 경계선을 그어 시각화해왔는데 결정 트리는 계단 모양의 결정 경계를 만든다. 모든 분할은 축에 수직이다. 이러한 점 때문에 데이터의 방향에 민감하다

• 위의 그래프는 x2 데이터를 회전시키고 트리로 예측을 했을 때 경계선을 그린 그래프이다
• 왼쪽 결정 트리는 쉽게 데이터를 구분하지만 오른쪽은 불필요하게 구불구불해졌다. 이런 문제를 제한하는 한가지 방법은 데이터의 스케일을 조장하고 주성분 분석(PCA) 변환을 적용하는 것이다
• 특성 간의 상관관계를 줄이는 방식으로 데이터를 회전하여 결정 트리를 더 쉽게 만들 수 있다 정도만 이해해도 충분하다

 

 

• 이 이미지는 붓꽃 데이터에 스케일링과 PCA를 적용한 뒤 학습한 트리 모델의 경계선을 나타낸 것이다
• 회전을 통해 원래 꽃잎 길이와 너비의 선형 함수인 z1 특성 하나만 사용하여 데이터셋을 매우 잘 학습할 수 있다

 

 

 

 

5-2. 분산 문제

• 일반적으로 결정 트리의 주요 문제는 분산이 상당히 크다는 것이다
• 이 말은 하이퍼파라미터나 데이터를 조금만 변경해도 매우 다른 모델이 될 수 있다는 것이다
• 동일한 데이터에서 동일한 결정 트리를 재훈련하더라도 아래의 그래프처럼 매우 다른 모델이 생성될 수 있다

 

• 오른쪽이 앞에서 기존에 학습시켰던 모델이고 왼쪽은 새롭게 학습시킨 모델이다. 둘 다 어느정도 경계선을 잘 그었다고 판단할 수 있으나 이렇게 큰 차이가 존재할 수 있다
• 여러 개의 결정 트리의 예측을 평균하면 분산을 크게 줄일 수 있다. 이런 결정 트리의 앙상블을 랜덤 포레스트라고 한다

 

 

 

 

---

 

 

지금까지 결정 트리의 각 구성 요소, 학습과 예측이 이뤄지는 과정, 규제 방법과 추가적인 특징들에 대해 알아보았다

사실 더 파고들면 수학적인 내용과 수식이 난무하기에 이 정도 내용은 가볍게 살펴본 정도라 할 수 있겠다

다음 장에서는 결정 트리를 연결하여 만든 랜덤 포레스트와 이렇게 여러 개의 모델을 묶어서 학습하는 앙상블에 대해 알아보겠다