핸즈온 머신러닝 5장. 서포트 벡터 머신

 

 

Intro

 

서포트 벡터 머신(Support Vector Machine, SVM).

 

선형/비선형 분류, 회귀, 특이치 탐지에 사용할 수 있는 다목적 머신러닝 모델

중소규모의 비선형 데이터셋(수백 ~ 수천 개의 샘플), 특히 분류에서 좋은 성능을 보여준다

이번 장에서는 SVM의 핵심 개념과 사용법, 작동 원리를 가볍게 살펴볼 것이다

처음 이 책을 본다면 수학적인 부분들이 어렵고 이해가 안되서 큰 장벽으로 느껴질텐데 수식을 완전히 이해하기 보단 SVM에는 이런 수식이 어떻게 작동한다 - 정도로 이해하는 정도면 충분하다

 

 

 

 

---

 

 

1. 선형 SVM 분류

• SVM의 기본 아이디어는 그림으로 이해하기가 가장 좋다. 예제 데이터로는 Iris 데이터를 사용한다
• 이 그래프는 Setosa와 Versicolor라는 2가지 종류에 대해 꽃잎의 길이와 폭을 그린 것이다. 보다시피 크게 2개의 그룹으로 뭉쳐있음을 확인할 수 있다.

 

 

 

• 여기서 분류를 하기위해 선을 긋는다면 다양한 형태로 선을 그을 수 있을 것이다. 직선들은 여러 형태로 두 그룹을 분류하지만 회색 점선의 경우 클래스를 적절하게 분류하지 못하고 있다
• 또한 직선이 어떻게 그어지느냐에 따라 새로 들어오는 데이터들이 서로 다른 클래스로 분류될 가능성도 존재한다

 

 

 

 

또는 이렇게 두 클래스를 구분하는 경계선에 이상치 데이터가 걸쳐있거나 반대편으로 분류될 수도 있다.

 

 

 

• 왼쪽 그래프는 이진 분류기가 여러 결정 경계를 그린 것이고 오른쪽 그래프는 SVM 분류기가 그린 경계이다.
  SVM이 그린 직선은 두 개의 클래스를 잘 구분할 뿐 아니라 제일 가까운 훈련 샘플로부터 가능한 멀리 떨어져있다.
• 한마디로 SVM은 클래스를 가장 잘 구분하는 결정 경계를 구하는 모델이라 할 수 있다

 

 

1-1. SVM의 개념과 구성요소

 

 

wikipedia - svm

 

 

결정 경계와 서포트 벡터

• 선형 SVM은 데이터를 선형적으로 분리할 수 있는 결정 경계를 찾는다. 그림의 빨간 직선에 해당한다
• SVM은 선형 분류처럼 직선을 그어 데이터를 구분하지만 여기서 주의할 점은 SVM은 "선 또는 면"을 찾는다
  이진 분류일 경우 직선을, 3차원 이상으로 고차원의 데이터는 평면을 찾는다. 이를 통들어 "초평면"이라고 한다
• 이러한 결정경계, 초평면은 도로 경계에 위치한 샘플에 의해 전적으로 결정된다. 이러한 샘플을 경계를 결정하는데 도움을 준다하여 서포트 벡터라 하며, 이 서포트 벡터 간의 거리를 마진이라고 부른다
• 따라서 서포트 벡터들은 마진을 결정하는데 중요한 역할을 한다

 

 

마진

• 마진은 결정 경계와 서포트 벡터 간의 거리를 의미하기도 한다
• SVM은 이 마진을 최대화하는 경계를 찾는 것이 목표이다. 이 때 마진은 서포트 벡터가 결정 경계에서 얼마나 떨어져있는지에 따라 결정된다
• 마진을 최대화하려면 초평면이 어느 지점에서 서포트 벡터 간의 거리가 가장 멀어지는지를 찾아야한다.
• 즉, 마진은 초평면과 서포트 벡터와의 거리로, 점과 직선과의 거리이다
  ( 더 엄밀히 따지자면 평면과 점의 관계로 이해하는 것이 더 정확한 접근이지만 수식풀이까지 다루지 않기에 그렇구나 정도로 이해해도 충분하다. )

https://www.crocus.co.kr/1635

 

• 결정 경계는 \( w^{T}x - b = 0 \)라는 식으로 나타낼 수 있다. 이 직선, 결정 경계의 식과 서포트 벡터를 점과 직선과의 거리 공식을 통해 정리해보면 그림에도 나와있듯이, SVM에서 마진은 다음과 같이 수학적으로 정의된다

$$ \text{Margin} = \frac{2}{||w||} $$

 

• 여기서 w는 결정 경계의 가중치 벡터를 의미하며, ||w|| 는 가중치 벡터의 크기(norm)이다. 
• SVM은 마진을 최대화하기 위해 ||w||를 최소화하려 한다

 

 

제약 조건

새로 입력된 데이터들은  빨간 직선, 초평면의 수직인 가중치 w와 내적 연산을 통해 나온 값이 1보다 크거나 또는 -1보다 작거나 어느 범위에 속하는지를 보고서 어떤 클래스에 속해있는지를 구분한다

플러스 초평면, 마이너스 초평면으로 구분하기도 하며, 마진은 플러스 마진, 마이너스 마진 두 개로 이루어져있다

SVM의 목표는 마진을 최대화하면서도 모든 훈련 샘플이 적절하게 분류되도록 제약 조건을 만족시키는 것이다. 

• 모든 양성 클래스 샘플이 결정 경계의 한쪽(\( w x - b \geq 1 \))에 있어야 한다
  (파란색 클래스인 경우)
• 모든 음성 클래스 샘플이 결정 경계의 반대쪽(\( w x - b \leq -1 \))에 있어야 한다
  (연두색 클래스인 경우)

이러한 제약을 만족시키면서 마진을 최대화하기 위해 = ||w|| 를 최소화하기 위해 SVM은 라그랑주 승수법이라는 방법을 통해 최적화 문제를 해결한다.

 

 

 

 

➡️ SVM은 마진을 최대화하는 직선(초평면)을 찾는 분류기이다

 

 

---

 

• 추가로 SVM은 특성의 스케일에 민감하다
• 그래프처럼 x0과 x1의 스케일에 따라 데이터의 위치가 크게 차이나기 때문에 SVM을 사용하기 위해선 범위를 통일해주는 스케일링 과정이 필요하다

 

 

1-2. 하드 마진과 소프트 마진

위에서 SVM의 개념과 요소들을 살펴보면서 어떤 메커니즘인지를 이해하였다

하지만 실제 데이터들이 예시처럼 깔끔하게 분류가 가능할까??

 

 

이렇게 대부분의 데이터들이 잘 분류되어 있지만 다른 클래스 범위로 붙어있는 특이점, 이상치들이 존재한다면 결정경계가 이렇게 그려질 수 있을까??

 

 

 

• 왼쪽의 그래프는 위와 같은 예시로, 저렇게 이상치 데이터가 있을 때 우리는 앞에서 배운 것처럼 SVM으로 클래스가 완전히 구분되는 직선을 그을 수 없다
• 또한, 오른쪽의 그래프처럼 다른 클래스 영역에 속해있지는 않으나 각 클래스의 영역에 비정상적으로 벗어난 이상치 데이터로 인해 직선이 치우쳐져 그려질 수도 있다
• 이렇게 이상치가 존재한다면 마찬가지로 클래스를 제대로 분류하지 못할 것이다. 따라서 이런 문제를 피하기 위해 보다 더 유연한 모델이 필요하다
• 가장 좋은 방법은 이상치를 제거하는 것이지만 데이터를 다루는 방법 뿐 아니라 모델 차원에서 조정하는 방법도 필요하다
• 도로의 폭, 마진을 가능한 넓게 유지하면서도 이상치와 같은 샘플이 도로 중간이나 반대편에 있는 (마진 오류), 오류를 어느정도 허용하는 것을 소프트 마진 분류라 한다
• 개념 설명에 사용한 예시처럼 마진 내에 오류를 단 하나도 허용하지 않으면 이를 하드 마진 분류라 부른다

 

 

 

• 하드 마진과 달리 소프트 마진은 슬랙 변수라는 마진 오류를 허용하기 위한 변수를 사용한다
• 각 데이터 포인트마다 슬렉 변수를 도입하여 마진 내부나 결정 경계를 넘은 데이터에 대해 패널티를 부여한다
• 슬랙 변수값은 각 데이터 포인트가 마진을 얼마나 넘었는지를 나타낸다 
  • Slack = 0  : 데이터 포인트가 마진 내에 있지 않음 (마진 밖에 잘 분류됨)
  • 0 < Slack < 1 : 데이터 포인트가 마진 내에 있음. 분류를 위해 마진 허용. (마진을 약간 침범함)
  • Slack > 1 : 데이터 포인트가 잘못 분류됨. (마진을 크게 침범함)

 

 

 

소프트 마진의 목적 함수는 위에 있는 하드 마진의 식에 슬랙 변수가 더해진 형태를 띄고 있다

여기서 마진 오류 최소화와 마진 최대화라는 두 조건이 상충하여 트레이드오프가 발생한다

➡️ 마진을 넓히면 마진 오류가 발생할 가능성이 높아지고, 마진 오류를 줄이려면 마진이 좁아질 수 있다

 

따라서 소프트 마진의 목적 함수는 마진을 최대화하면서도 동시에 슬랙 변수의 합, 마진 오류의 총합을 최소화하는 형태로 정의된다. 여기서 파라미터 C는 마진 오류에 대한 패널티를 조정하는 역할을 한다.

 

 

 

 

 

• 코드에서는 규제 하이퍼파라미터 C를 이용해 마진의 폭을 조절한다.
• C를 줄이면 도로의 폭이 넓어지면서 더 많은 마진 오류가 발생한다. 따라서 도로를 지지하는 샘플이 더 많아지므로 도로를 결정하는 경계에 반영되는 샘플들이 많아지기 때문에 과대적합의 위험이 줄어들게 된다
• 그러나 C를 과도하게 줄이게 되면 모델이 과소적합된다

 

 

---

2. 비선형 SVM 분류

사용하는 데이터들이 선형적으로만 이루어져 있다면 분류를 편하게 할 수 있겠지만 아쉽게도 실무에서 사용하는 대부분의 데이터들은 비선형 데이터인 경우가 많다

아래의 그래프처럼 비선형의 데이터는 곡선의 결정 경계가 그려지게 된다

 

https://ai.plainenglish.io/what-is-deep-learning-and-how-deep-learning-works-6f055125633d

 

 

그렇다면 SVM으로 이런 비선형 데이터를 분류하려면 어떻게 해야할까?? 여기에는 2가지 방법이 있다

1. 비선형 데이터를 직접 선형적으로 만들기

2. 커널 트릭이란 기법을 사용하기

 

2-1. 비선형 데이터를 직접 선형적으로 만들기

비선형 데이터를 다루는 한 가지 방법으로는 직접 데이터의 차원을 높여서 특성을 추가하는 것이다

• 비선형 데이터를 선형으로 변환하기 위해 특성의 차원을 증가시킨다
• 1차원에서 분류가 어렵다면 각 데이터들을 제곱하거나 새로운 특성을 추가하여 2차원으로, 즉 고차원 공간으로 매핑하는 것이다
• 이렇게 하면 원래 비선형적으로 분류 불가능한 데이터가 새로운 고차원 공간에서는 선형적으로 분류될 수 있다

그림으로 예시를 들자면    

 

 

이렇게 \( x_{1} \) 하나의 특성만 있는 두 클래스의 데이터는 하나의 직선으로 구분할 수 없는 비선형 데이터이다

하지만   \( x_{2} = ( x_{1})^{2} \) 이렇게 제곱을 통해  \( x_{2}  \) 를 추가해준다면 빨간 점선을 통해 선형적으로 구분할 수 있게 된다

이렇게 직접 데이터의 차원을 높여줌으로써 선 또는 평면을 통해 선형적으로 구분될 수 있도록 변환 해주는 방법이 있으나 여러 한계와 단점이 존재한다

• 차원의 저주 : 제곱과 특성 추가 등의 연산을 통해 비선형 ➡️ 선형으로 변환할 경우 차원이 증가하게 되는데 이 과정에서 데이터 포인트 간의 거리가 급격히 멀어지면서 모델 성능이 떨어지고 과대적합될 가능성이 커지게된다
• 계산 비용 증가 : 이 부분도 마찬가지로 차원이 증가됨에 따라 많은 특성들이 추가됨으로써 학습 속도가 느려지고 계산 비용이 증가하게 된다

따라서 이러한 문제들을 해결하고자 커널 트릭이라는 수학적인 기법을 활용한다

 

 

2-2. 커널 트릭

특성을 직접 추가하여 선형적으로 데이터를 변환했던 것과 달리, 커널 트릭(=커널 함수)는 실제로는 데이터의 특성을 확장하지 않지만 마치 확장한 것처럼 만들어 계산하는 방식이다

https://ai.atsit.in/posts/2442229240/

 

커널 트릭은 고차원으로 데이터를 직접 변환하여 특성을 추가하지 않고 커널 함수를 사용해 변환된 데이터 간의 내적 연산만 수행하기 때문에, 고차원 변환을 계산하지 않고도 그와 동일한 결과를 얻을 수 있고 계산량이 감소하여 연산 효율성을 극대화할 수 있다

 

대표적인 커널 함수들

• 다항 커널 (Poly kernel)
  - 입력 벡터 간의 내적에 상수를 더한 뒤 거듭제곱하여 계산, 고차원 공간으로 매핑하여 비선형 결정 경계를 만듬
• 가우스 RBF 커널
  - 벡터 간의 거리, 유사도를 이용하여 데이터를 비선형적으로 변환. 거리가 가까울수록 큰 값을, 멀어질수록 작은 값을 반환
  - 입력 데이터를 무한한 고차원 공간으로 매핑하여 매우 복잡한 비선형 결정 경계를 만들 때 사용
• 시그모이드 커널
  - 신경망의 활성화 함수처럼 입력 벡터들 간의 내적에 상수를 더한 뒤, tanh 함수를 적용하여 데이터 변환

 

 

 

---

3. SVM 회귀

 

 

그래프 왼쪽처럼 SVM 분류는 마진을 최대화하고 마진 사이에 존재하는 데이터들, 마진 오류를 최소화하려 했다면

SVM 회귀는 오른쪽 그래프처럼 마진을 최대화하면서 마진 내에 샘플들이 많이 들어가도록 결정 경계를 긋는다는 차이점이 존재한다

 

분류에서는 규제 하이퍼파라미터 C를 통해 마진의 폭을 조절했다면 

SVM 회귀 모델에서는 \(\epsilon\), epsilon 라는 파라미터를 통해 마진의 범위를 설정한다

 

마진을 벗어나거나 걸쳐있는 경우가 표기되어 있음

 

 \(\epsilon\) (epsilon)

• 마진 범위 조절 : epsilon은 예측 오차를 어느 정도까지 허용할지를 결정하는 마진의 크기를 조절한다
• 회귀에서 실제값과 예측값 사이의 오차가 epsilon 내에 있으면 그 오차는 무시된다. 마진 내의 오차는 패널티를 주지 않기 때문에 이 범위 내의 데이터 포인트는 서포트 벡터로 사용되지 않는다
• epsilon을 줄이면 범위가 줄어들면서 더 작은 오차도 중요한 오차로 간주되어 더 많은 데이터 포인트가 서포트 벡터로 포함된다
  • 왜 마진 범위를 벗어난 데이터들이 학습과 예측에 영향을 미칠까??
    생각해보면 당연한 내용인데, 모델 학습은 오차를 줄이는 방향으로 이루어지기 때문에 마진 범위를 벗어난 데이터들, 오차로 간주되는 데이터들이 많아지면서 학습에 더 많은 영향을 미치게된다
  • 따라서 서포트 벡터가 늘어나면 더 많은 데이터 포인트가 모델의 예측에 영향을 미치게 되어 모델이 더 많은 세부 사항에 민감해진다. 즉 다양성이 반영되어 보다 더 일반화되고 과대적합을 줄여준다
• 따라서 epsilon을 줄이면 모델이 지나치게 민감하지 않게 만들며 모델을 규제하는 효과를 낸다

 

C

• 분류와 회귀에서의 역할 차이 : 분류에서는 마진의 너비를 조절하는 파라미터로 쓰였으나 회귀에서는 규제의 강도를 조절하는 역할을 한다
• 마진을 벗어난 오차에 대해 얼마나 엄격하게 패널티를 부여할지를 결정한다
• C가 클수록 오차를 최소화하는 방향으로 학습하여 과대적합이 발생할 수 있고 반대로 C가 작으면 약간의 오차를 허용하여 더 간단한 모델을 만들어 과대적합을 방지하고 일반화 성능이 향상될 수 있다

 

 

이렇게 같은 epsilon, 같은 마진 범위를 가지더라도 C값에 따라 결정 경계가 다르게 그려지는 것을 확인할 수 있다

 

 

C = 0.01		C = 100
규제 강도 높음 : 약간의 오차를 허용하여 간단한 모델을 만들도록 규제		규제 강도 낮음 : 오차에 매우 민감. 데이터 하나하나에 과도하게 집중
오차 허용 :  패널티가 작으므로 복잡성을 줄이고 일반화 성능을 높임		오차 최소화 :  오차에 강한 패널티 적용, 과대적합의 위험 증가
✅ 오차에 덜 민감, 더 단순한 모델, 높은 규제       ➡️ 일반화 성능 향상.		✅ 오차에 매우 민감, 복잡한 모델, 낮은 규제       ➡️ 과대적합 위험.

 

 

 

 

 

---

 

 

 

지금까지 SVM, 서포트 벡터 머신에 대해 살펴보았다. 아무래도 수학적인 부분들이 많이 때문에 내용이 더 어려웠을 것이고 이번 내용을 보면서 아쉽게도 100% 깊게 이해하진 못했다. 하지만 이해가 부족한 부분들을 계속 찾아보고 이해하려고 노력하는 과정에서 조금씩 머리에 들어오는 부분들도 분명 존재했다.

지금 다 이해못하더라도 AI를 계속 하는 이상, 수학적으로 정말 정교하게 잘 만들어졌다고 칭찬받는 알고리즘인 SVM은 반드시 다시보게 될테니 정리한 내용을 바탕으로 더 발전시키려한다

다음은 머신러닝의 핵심 모델 중 하나, 결정 트리에 대해 살펴보겠다