핸즈온 머신러닝 8장. 차원 축소

 

Intro

• 많은 머신러닝 문제의 데이터셋은 수천에서 많게는 수백만 개의 특성을 가진다
• 이렇게 너무 많은 특성은 훈련을 느리게 하고 모델의 성능을 떨어뜨리기도 한다. 이런 문제를 차원의 저주라 부른다
• 이런 문제들은 특성 수를 크게 줄여서 불가능한 문제를 가능한 범위로 변경할 수 있는 경우가 존재한다
  • ex) MNIST 이미지. 이미지 경계의 픽셀은 거의 흰색이므로 제거해도 많은 정보를 잃지 않음. 또는 인접한 두 픽셀들은 서로 연관성이 크기 때문에 평균을 내어 하나의 픽셀로 합치는 것도 좋은 방법
• 차원을 축소시키면 일부 정보가 손실이 되지만 그만큼 훈련 속도가 빨라질 수 있다
• 따라서 차원 축소를 하기 전에 원본으로 먼저 학습 및 테스트해보는 것도 좋다. 때로는 차원 축소를 통해 노이즈나 불필요한 데이터를 필터링하여 성능이 높아지는 경우도 있다. 일반적으로는 훈련 속도만 빨라진다
• 차원 축소는 데이터 시각화에도 유용함. 고차원의 데이터를 압축하여 하나의 그래프로 그릴 수 있고 군집 등 여러 시각적인 패턴을 감지하여 인사이트를 얻기도 한다

 

해당 글에서는 어떤 문제점이 있어서 왜 차원 축소가 필요한지, 어떤 수학적 개념이 필요하며 어떻게 차원 축소를 하는지, 종류에는 어떤 것들이 있는지, 장단점과 사용되는 곳 등 전반적인 내용을 다뤄보려한다

 

---

 

 

 

1. 차원 축소의 필요성

 

차원의 증가에 따라 데이터의 분포는 변화한다

직접 그림

 

데이터의 차원은 곧 데이터의 특징, 피쳐를 의미한다

 

차원의 증가는 곧 피쳐의 증가, 학습에 사용되는 데이터 특징들이 늘어남을 의미하며 위의 예시처럼 차원의 증가에 따라 데이터 간의 거리도 같이 증가한다

이러한 현상을 차원의 저주라 하며, 아래에서 자세하게 살펴보겠다

 

 

 

1-1. 차원의 저주

 

• 일반적으로 차원이 증가할수록 데이터 포인트 간의 거리가 기하급수적으로 멀어지게 되고, 희소한 구조를 갖게 된다
• 수백 개 이상의 피처로 구성된 데이터의 경우 상대적으로 적은 차원에서 학습된 모델보다 예측 신뢰도가 떨어진다
• 또한 피처가 많을 경우, 개별 피처간에 상관관계가 높을 가능성이 크다. 선형 회귀와 같은 선형 모델에서는 입력 변수 간의 상관관계가 높을 경우 이로 인한 다중 공선성 문제로 모델의 예측 성능이 저하된다

➡️ 차원의 저주란, 차원이 커질수록 데이터가 희소하게 존재하여, 학습 데이터의 대표성을 잃고 모델 학습의 성능을 저하시키는 현상

 

출처 : "The Elements of Statistical Learning", Tibshirani and Friedman

• 직선, 일차원에서는 선의 50%에 해당하는 영역이 2차원, 3차원으로 확대될수록 기존의 선이 나타낼 수 있는 영역의 넓이가 점점 줄어들게 된다
• 이렇게 차원이 높아질수록 데이터의 대표성이 줄어드는 현상이 발생한다.
• 간단한 예시로 보면 1차원에서는 4개의 별이 2차원에서는 3개, 3차원에서는 1개가 되면서 점점 별, 데이터간의 거리가 늘어나는 것을 볼 수 있다
• 차원이 증가하고 데이터간의 거리가 멀어질수록, 일부 데이터가 전체 데이터셋을 나타내기 힘들어지고 따라서 이러한 문제를 해결하기 위해 더 많은 데이터가 요구된다
• 차원이 커질수록 데이터 또한 양적으로 많이 필요하게 되며 이는 분석, 학습 비용의 증가를 초래한다
• 또한 차원이 커질수록 다중 공선성이라는 문제가 발생한다

 

 

 

 

---

 

 

 

 

1-2. 다중 공선성

• 차원이 높아질수록 발생하는 문제 중 하나, 다중 공선성
• 데이터의 피처 간에 강한 상관관계가 나타나는 문제를 말한다. 
  ➡️ 서로 상관관계가 높은, 즉 유사한 특성들이 데이터에 포함된 경우

왜 상관관계가 강하면 안될까??

피쳐 간의 상관관계가 모델의 학습과 예측에 어떤 영향을 미칠까??

 

 

다중공선성 존재 여부 비교

 

 

 

변수 간 상관관계가 높으면 문제가 되는 이유

• 모델은 독립변수들과 종속변수 사이의 관계를 학습한다. 하지만 독립변수들끼리 강한 상관관계가 있으면 모델이 독립변수 중 어떤 변수가 종속변수에 더 큰 영향을 미치는지 명확하게 구분하기 어려워진다
• 이렇게 되면 학습 과정에서 각 변수의 기여도를 명확히 추정할 수 없고, 과대적합(overfitting)이나 과소적합(underfitting)의 문제가 발생할 수 있다

 

 

 

1. 다중공선성의 영향

 

 

 

• 모델의 불안정성: 상관관계가 높은 변수들이 많으면, 모델의 회귀계수나 가중치들이 크게 변동할 수 있다
  변수 간의 중복된 정보가 많으면 모델이 이를 과대평가하거나 과소평가하는 경향이 생기며, 결과적으로 작은 변화에도 모델의 예측값이 크게 달라질 수 있다
• 해석의 어려움: 피쳐들이 서로 매우 유사한 정보를 제공하고 있으면, 어떤 피쳐가 중요한지를 판단하기 어렵다
  특히 회귀 계수가 불안정하게 추정되어 해석이 어려워지는데, 이는 모델의 설명력을 떨어뜨리며 변수들 간의 개별 기여도를 분석하기 어렵게 만든다
• 모델 성능 저하: 상관관계가 높은 피쳐들이 많은 경우, 모델이 불필요한 정보를 학습하는 데 자원을 소모시킨다
  이는 일반화 성능을 떨어뜨릴 수 있으며, 새로운 데이터를 예측할 때 성능이 저하될 가능성이 크다

 

 

2. 다중공선성이 학습과 예측에 미치는 구체적인 영향

 

• 모델 학습 시: 피쳐들 간의 상관관계가 높으면, 학습 중에 모델이 두 변수에서 동일하거나 유사한 정보를 얻는 것을 중복 학습하게된다. 이로 인해, 모델이 진정으로 중요한 변수를 판별하기 어려워지며, 특정 변수의 중요도를 지나치게 높이거나 낮게 평가하게 된다
• 모델 예측 시: 학습된 모델이 새로운 데이터에서 정확한 예측을 하기 위해서는 독립변수들의 역할이 명확해야 한다. 하지만 다중공선성으로 인해 변수 간 구분이 모호해지면, 모델이 변수를 잘못 해석하여 예측 성능이 떨어질 수 있다

 

 

3. 다중공선성을 방지하거나 완화하는 방법

• 변수 제거: 상관관계가 높은 변수들 중 하나를 제거하여 문제를 해결할 수 있다
• 차원 축소: PCA(주성분 분석)와 같은 차원 축소 기법을 사용하면, 상관관계가 높은 변수들을 요약하여 새로운 독립적인 변수를 생성할 수 있다
• 정규화 기법: 릿지(Ridge)나 라쏘(Lasso)와 같은 규제(regulation) 기법을 사용하여 회귀 계수의 크기를 조절함으로써 다중공선성의 문제를 완화할 수 있다

 

---

 

 

 

따라서 차원이 증가함에 따라 발생하는 문제점들을 간단히 정리해보면 아래의 그림과 같다

 

 

 

이제 다음 내용에서 차원 축소가 어떻게 이루어지는지를 하나씩 살펴보도록 하겠다

 

 

 

---

 

2. 차원 축소 기본 개념

 

 

 

 

• 차원 축소란? 
  • ➡️ 매우 많은 피쳐를 가진 고차원의 데이터를 저차원으로 축소하여 새로운 차원의 데이터를 만드는 방법
  • 🎯 고차원 데이터를 저차원으로 변환하는 기법으로, 중요한 정보는 유지하면서 불필요한 데이터를 제거하는 방법이기도 하다
  • 🎯 단순히 데이터 압축 뿐 아니라, 차원 축소를 통해 데이터를 잘 설명할 수 있는 잠재적인 요소를 추출하는 것이 중요!!
  • 위의 그림처럼 키, 나이, 몸무게를 가진 3차원의 데이터를 키, 몸무게를 가진 2차원의 데이터로 압축하는 것도 차원 축소의 대표적이면서 간단한 예시이다
• 차원 축소는 피처 선택과 피처 추출이라는 두 가지 주요 접근 방식이 있다
  
  • 피처 선택 (Feature Selection)
    • 기존 피처 중 중요한 피처를 선택하여 차원을 줄이는 방법
    • 불필요하거나 상관관계가 높은 피처를 제거하여 데이터를 단순화
    • 데이터의 해석 가능성을 유지하면서도 단순화된 모델 생성
    • ex)
      • 상관관계 분석을 통해 상관관계가 높은 피처 제거
      • 유의미한 피처를 선택하는 알고리즘(예: 랏소(Lasso), 트리 기반 모델의 중요도 등)
  • 피처 추출 (Feature Extraction)
    • 기존 피처를 조합하여 새로운 피처를 생성함으로써 데이터를 변환
    • 원래의 피처는 사라지지만, 중요한 정보는 압축된 형태로 보존
    • ex)
      • 주성분 분석(PCA): 데이터의 분산을 최대화하는 축을 찾아 새로운 피처 생성
      • T-SNE: 고차원 데이터를 저차원으로 임베딩하여 시각화에 적합

 

 

보통은 차원 축소를 이야기할 때 피처 추출, 기존의 다차원 피처를 핵심 피처들로 압축하여 추출하는 개념으로 많이 쓰인다

특히 대표적인 차원 축소로 PCA, 주성분 분석을 많이 사용하는데 아래에서 자세하게 살펴보겠다

 

 

 

 

 

---

 

 

 

 

3. 차원 축소 기법 소개

 

주성분 분석을 살펴보기 전에, 분산과 공분산이라는 개념을 이해하는 것이 필요하다

 

 

 

3-1. 분산과 공분산

 

분산 (Variance)

• 정의: 분산이란 데이터가 평균을 중심으로 얼마나 퍼져 있는지를 나타내는 지표이다
• 쉽게 말하면: 데이터를 보고 "평균에서 얼마나 멀리 떨어져 있나?"를 측정하는 것
  분산이 크다는 것은 해당 방향으로 데이터의 변동성이 크다는 것을 의미한다
• 예시: 학생들의 시험 점수가 50점대에서 크게 벗어나지 않으면 분산이 작고, 30점에서 90점까지 널리 퍼져 있으면 분산이 크다

 

https://kenadams.tistory.com/entry/%EB%B6%84%EC%82%B0-%EA%B3%B5%EC%8B%9D

 

 

직접 그림

 

 

위의 그래프는 낮은 분산과 높은 분산을 한 번에 비교할 수 있게 두 데이터를 겹쳐서 나타낸 것이다

• 파란색 분포는 평균이 50이고, 표준편차(분산의 척도)가 5인 데이터를 나타낸다
  이 데이터는 비교적 점수가 좁은 범위 내에 집중되어 있으며, 분산이 낮다
• 주황색 분포는 평균이 60이고, 표준편차가 20인 데이터를 나타낸다
  이 데이터는 점수가 훨씬 넓은 범위에 퍼져 있으며, 분산이 크다

이를 통해 분산이 큰 데이터는 더 넓게 퍼져 있고, 분산이 작은 데이터는 더 응집되어 있음을 시각적으로 확인할 수 있다

 

 

 

 

공분산 (Variance)

• 정의: 두 변수 간에 관계가 있는지, 즉 한 변수가 커질 때 다른 변수도 커지는지(양의 상관관계), 혹은 반대로 작아지는지(음의 상관관계)를 나타내는 지표이다
• 쉽게 말하면: 두 개의 데이터 세트를 보고 "같이 움직이는 경향이 있는가?"를 측정하는 것
• 예시: 학생들의 키와 몸무게를 본다면, 키가 큰 학생일수록 몸무게가 무거울 수 있다
  이런 경우 공분산은 양의 값이 나온다. 반대로 어떤 변수가 커지면 다른 변수가 작아진다면 공분산은 음의 값이 된다
• 2장에서 배운 상관계수와 유사하지 않은가? 맞다. 상관계수는 공분산을 두 변수의 표준편차로 나눠준 값이다
• 아래는 X, Y, Z라는 3개의 피쳐, 즉 3차원의 데이터에서 각 변수끼리의 분산값, 공분산을 구한 공분산 행렬이다

 

 

 

 

 

 

 

---

3-2. 선형적 기법, PCA

 

가장 대표적인 차원 축소 기법인 PCA, 주성분 분석

• PCA는 여러 변수 간에 존재하는 상관관계를 이용해 이를 대표하는 주성분을 추출해 차원을 축소하는 기법이다
• PCA의 핵심은 가장 높은 분산을 가지는 데이터의 축을 찾아 그 축으로 사영하여 차원을 축소하는 것인데, 여기서 가장 높은 분산을 가지는 축을 주성분이라 한다
• 높은 분산을 가진 축을 찾는 이유는 정보의 손실을 최소화하기 위해서이다
• 사영했을 때 분산이 크다는 것은 원래 데이터의 분포를 잘 설명할 수 있다는 것을 의미하며 이는 곧 데이터의 정보 손실을 최소화할 수 있다는 것을 뜻한다
• 즉, 분산이 데이터의 특성을 가장 잘 나타내는 것으로 간주한다

 

파이썬 머신러닝 완벽가이드

 

 

 

 

 

간단한 예시를 들자면 이렇게 2개의 축, 2차원의 데이터의 분포를 그린 그래프에서 어느 직선으로 사영해야 데이터를 잘 나타낼 수 있을까?

 

2차원의 데이터

 

 

• 데이터가 x축에 따라 분포되어 있으므로 x축에 대한 분산이 더 크다고 할 수 있다
  그리고 분산이 크다는 것은 전체 데이터를 잘 나타내며 대표한다는 것을 의미한다
• 따라서 분산이 높은 축으로 차원을 축소하는 것은 데이터의 정보 손실을 최소화하는 것이다

 

 

• 다른 예시로, 실선과 점선들 중 실선이 데이터의 분포를 가장 잘 나타내고 있음을 볼 수 있다

 

 

사실 PCA는 수학적인 깊은 이해를 요구하지만 수식을 직접 다루기보단 개념적인 부분 위주로만 간단히 다뤄보려 한다

PCA의 과정을 수학적으로 깊게 이해하려면 선형 변환, 공분산 행렬, 고유벡터와 고유값 분해에 대한 이해가 필요하다

 

 

 

 

아래는 PCA의 수행 스텝이다

1. 입력 데이터 세트의 공분산 행렬을 생성
2. 고유값 분해를 통해 공분산 행렬의 고유벡터와 고유값을 나눔
   - 고유벡터 : PCA의 주성분 벡터, 입력 데이터의 분산이 큰 방향을 나타냄. 최대 차원 수 만큼 고유 벡터를 가질 수 있다
      ex) 3차원 데이터는 최대 3개의 고유벡터를 가짐.
   - 고유값 : 이 고유벡터의 크기와 입력 데이터의 분산을 나타냄.
3. 고유값이 가장 큰 순으로 K개(PCA 변환 차수만큼) 만큼 고유벡터를 추출
4. 고유값이 가장 큰 순으로 추출된 고유벡터를 이용해 새롭게 입력 데이터를 변환

 

 

 

 

➡️ 입력 데이터의 공분산 행렬이 고유벡터와 고유값으로 분해될 수 있으며, 이렇게 분해된 고유벡터를 이용해 입력 데이터를 선형 변환하는 방법이 바로 PCA

 

 

이해를 돕기 위해 3차원, 2차원 데이터에서 PCA를 진행했을 때 고유벡터와 고유값을 화살표로 표기해보았다

 

 

• 2, 3차원 데이터에서 공분산 행렬을 구한뒤 고유값 분해를 할 경우 차원의 개수만큼 각각 3개와 2개 화살표가 생성된다
• 이 화살표는 고유값 분해를 통해 얻은 고유벡터, 주성분들이며 분산이 큰 방향으로 가르키고 있고 고유값만큼의 길이를 가진다
• 이런 화살표 중 가장 데이터를 잘 나타내는 화살표를 선택하여 해당 축으로 사영함으로써 데이터를 압축한다

 

 

• 위의 예시는 4개의 피쳐를 가지는 Iris 데이터셋을 4차원에서 2차원으로 PCA했을 때의 그래프이다
• 4개 피쳐 중 sepal length, width 2개만 시각화 하였고 차원축소시 품종별로 더 잘 분류되어 있는 것을 확인할 수 있다

 

 

PCA는 선형적인 데이터에 사용된다. 그럼 위와 같은 비선형 데이터는 어떤 차원 축소 방법을 사용할까??

 

 

 

---

3-3. 비선형적 기법

차원 축소 중 비선형적 기법에는 여러가지가 있는데 그 중 t-SNE, UMAP 2가지만 간단히 소개하려 한다

 

 

t-SNE ( t-distributed Stochastic Neighbor Embedding )

 

• 높은 차원의 복잡한 데이터를 2차원에 차원 축소하는 방법
• 낮은 차원 공간의 시각화에 주로 사용하며, 차원 축소시 비슷한 구조끼리 데이터를 정리한 상태이므로 데이터 구조를 이해하는데 도움이 된다
• 위의 예시는 Iris 데이터셋을 적용한 그래프이다

 

 

UMAP ( Uniform Manifold Approximation and Projection )

MNIST 데이터 UMAP 적용 시각화

 

UMAP은 비선형 차원 축소 기법으로, 데이터의 고차원 구조를 보존하면서 저차원 공간으로 매핑하는 데 사용된다

데이터 포인트 간의 거리를 유지하고, 데이터의 지역적 구조를 잘 보존하는 특징이 있다

특히 클러스터링이나 분류를 위한 데이터 전처리에서 널리 사용된다

1. 비선형: UMAP은 비선형 차원 축소 방법으로, 데이터의 복잡한 구조를 반영할 수 있다
2. 지역적 구조 보존: UMAP은 데이터의 지역적 구조를 잘 보존하며, 유사한 데이터 포인트들이 가까운 거리로 매핑된다
3. 고속 처리: t-SNE보다 계산 속도가 빠르고, 대규모 데이터셋에 적합하다

 

 

 

 

 

---

4. 차원 축소의 장단점

 

차원 축소는 데이터의 차원을 줄여 더 간결하게 만들고, 분석 및 시각화를 용이하게 하며, 계산 비용을 절감하는 방법이다

그러나 모든 기술이 그러하듯 차원 축소에도 장점과 단점이 존재한다

 

 

장점

1. 노이즈 감소: 데이터의 불필요한 차원을 제거함으로써 노이즈를 줄일 수 있다. 이는 모델의 성능을 향상시킬 수 있다
2. 시각화 용이: 데이터 차원을 2D 또는 3D로 줄이면 데이터의 패턴을 시각적으로 더 쉽게 이해할 수 있다
3. 계산 효율성: 차원이 줄어들면 계산 속도가 빨라지고 메모리 사용량이 감소한다. 이는 대규모 데이터셋에 특히 중요하다
4. 과적합 방지: 데이터의 차원을 줄이면 모델이 과적합될 위험을 줄이고, 일반화 능력을 향상시킬 수 있다
5. 특징 선택: 차원 축소 방법 중 일부는 데이터에서 가장 중요한 특징을 선택하여 모델의 해석 가능성을 높이는 데 기여한다

단점

1. 정보 손실: 차원 축소 과정에서 중요한 정보가 손실될 수 있다. 이는 모델의 성능 저하로 이어질 수 있다
2. 해석의 어려움: 차원 축소 후 데이터의 축이 원래의 변수와 어떤 관계가 있는지 이해하기 어려울 수 있다
   이는 결과 해석에 혼란을 줄 수 있다
3. 파라미터 조정 필요: 차원 축소 방법에 따라 적절한 하이퍼파라미터를 선택해야 하며, 이 과정이 복잡하고 시간이 소요될 수 있다
4. 특정 기술 의존성: 일부 차원 축소 기법은 특정 데이터 구조나 분포에 민감하여 모든 상황에서 잘 작동하지 않을 수 있다
5. 비선형 구조 표현 한계: PCA와 같은 선형 차원 축소 기법은 데이터의 비선형 구조를 잘 표현하지 못할 수 있다.
   이는 비선형 차원 축소 기법이 필요할 수 있음을 의미한다

 

 

 

 

---

 

 

 

지금까지 차원 축소에 대해 살펴보았다

차원 축소는 단순히 모델만을 돌리는 것이 아닌, 데이터와 수학적인 깊은 이해를 필요로 하기에 수학적 개념을 이해하는데 애를 먹었다

이번에는 얇게 다루었지만, 수학적인 부분도 더 공부하고 이해한 뒤에 따로 정리해보려한다