핸즈온 머신러닝 9장. 비지도 학습

 

 

 

스터디를 진행하다보니 벌써 핸즈온 머신러닝 1권에서 머신러닝 파트의 마지막 내용이다

이번 장은 9장 비지도 학습으로 기존에 작성했던 내용들처럼 비지도 학습이 어떤 것이고 어떠한 방법들이 있는지, 각각의 방법에 대해 깊은 이론과 코드 보다는 이론을 주로 다룰 것이다

책의 내용만을 그대로 옮기는 것이 아닌, 발표를 위해 준비하고 만든 자료들과 정리한 내용들을 이용해 비지도 학습에 대해 정리해보았다

개별적인 방법에 대한 깊은 내용은 실무나 챌린지 등에서 사용한 경험이 있을 경우 따로 추가적인 정리를 해보려한다

 

 

---

 

1. 비지도 학습의 개요

 

1-1. 비지도 학습 개념

비지도 학습이 무엇일까?

 

https://live.lge.co.kr/live_with_ai_01/

 

• 우리가 지금까지 사용해온 데이터들은 전부 정답이 존재한 데이터들이다
• 문제와 정답을 모두 알려주고 학습을 시키는 '지도학습'을 해온 것이다
• 하지만 비지도 학습은 정답이 없는 상태에서 어떠한 답을 만들어내는 방법이다

 

 

 

https://captivenomad.com/supervised-and-unsupervised-learning/

 

• 그림의 예시를 보면 여러 종류의 채소가 각각의 종류로 라벨링되어 있지 않고 섞여있는 원본의 데이터이다
• 비지도 학습은 이러한 정답이 없는 데이터에서 비슷한 데이터끼리 묶거나 데이터를 요약하여 패턴을 찾는다

 

 

---

 

 

1-2. 비지도 학습의 필요성

 

 

왜 비지도 학습이 필요할까?? 실제 데이터가 어떻게 구성되는지를 먼저 알 필요가 있다.

 

실제 데이터의 특성

• • 라벨이 없는 데이터가 대부분:
    실무에서 수집된 raw 데이터는 라벨이 존재하지 않는다
    학습을 위한 라벨링 작업을 필요로 한다
    레이블을 만들기 위해서는 많은 시간과 비용이 들어가며, 수동으로 데이터를 라벨링하는 작업은 상당히 번거롭다
    간단한 예시를 살펴보면
    
    • 고객 데이터: 어떤 제품을 구매할 가능성이 높은 고객을 미리 구분하는 정보는 자주 있지만, 이들 고객을 일일이 라벨링하기는 어렵다
    • 이미지 데이터: 방대한 양의 이미지 데이터를 구분하는 데 있어, 각 이미지에 라벨을 붙이는 작업은 큰 시간적 비용을 요구한다

 

이처럼 레이블을 얻는 데 어려움이 있는 상황에서는 비지도 학습을 필요로 한다

비지도 학습은 라벨이 없는 데이터의 내재된 구조나 패턴을 발견해, 중요한 정보를 추출하는 데 도움을 준다

이러한 점을 통해 비지도 학습은 데이터를 분석하거나 시각화, 전처리하는 과정에서 주로 사용된다

 

 

 

비지도 학습의 효과

• 데이터 탐색 및 전처리 단계 : 데이터를 요약하거나 구조를 파악하는 데 사용
  • 데이터의 구조 이해
    • 데이터에 대한 사전 지식이 없는 상태에서, 비지도 학습을 통해 데이터의 구조를 이해할 수 있다
      비지도 학습 기법을 사용하면 데이터가 자연스럽게 어떻게 분포되는지, 주요 패턴이나 군집은 무엇인지 알 수 있는데,  이런 데이터의 내재된 구조를 파악하는 것은 후속 작업(지도 학습 또는 분석 작업)을 더 효과적으로 수행하는 데 도움이 된다
  • 차원 축소를 통한 시각화
    • 많은 데이터는 고차원적인 특징을 가진다. 비지도 학습의 차원 축소 기법(PCA, t-SNE 등)을 사용하면, 데이터를 더 이해하기 쉬운 저차원 공간으로 변환해 시각화할 수 있다
      예를 들어, 100차원 데이터라 하더라도 2차원 또는 3차원으로 축소하여 클러스터링된 결과를 시각화하면 데이터의 패턴과 관계를 쉽게 파악할 수 있다
• 모델의 초기 학습 단계
  • 초기 레이블 없는 학습
    • 비지도 학습은 준지도 학습이나 지도 학습을 위한 전처리로도 사용된다
      예를 들어, 클러스터링을 통해 얻은 정보는 초기 레이블로 사용할 수 있다. 이는 모델이 학습 데이터를 더 잘 이해하고, 성능을 향상시키는 데 도움이 된다
  • 특성 추출 및 선택
    • 비지도 학습은 데이터의 중요한 특성을 자동으로 추출하는 데도 사용된다. 이를 통해 모델에 입력할 데이터를 더욱 효율적으로 선택할 수 있다

 

 

 

 

 

---

 

2. 클러스터링

 

 

 

 

비지도 학습에는 여러 기법이 존재한다. 해당 글에서는 클러스터링을 주로 살펴볼 것이다

 

• 클러스터링이란??
  • 클러스터링이란 레이블이 지정되어 있지 않은 데이터를 그룹핑하는 분석 알고리즘으로, 비지도학습 하면 대표적으로 떠오르는 방법 중 하나이다
  • 여기서 클러스터는 비슷한 특성을 가진 데이터들의 집단이라 할 수 있다
• 클러스터링의 대분류
  • 클러스터링 기법들을 크게 나누면 분할 기반, 계층적, 밀도 기반, 모델 기반 클러스터링으로 분류할 수 있다

 

 

이 4가지 클러스터링 방법에 대해서 하나씩 살펴보도록 하겠다

 

 

---

 

 

2-1. 분할 기반 클러스터링

데이터를 미리 정해진 수의 클러스터로 나누는 방식이다

각 데이터 포인트는 하나의 클러스터에만 속하게 된다

 

K - 평균 알고리즘 (K-Means)

 

 

 

• 군집화에서 가장 일반적으로 사용되는 알고리즘. K-평균은 군집 중심점(centroid) 라는 특정한 임의의 지점을 선택해 해당 중심에 가장 가까운 포인트들을 선택하는 군집화 기법이다
• 센트로이드는 선택된 포인트의 평균 지점으로 이동하고 이동된 중심점에서 다시 가까운 포인트를 선택, 다시 중심점을 평균 지점으로 이동하는 프로세스를 반복한다
• 모든 데이터 포인트에서 더 이상 중심점의 이동이 없을 경우 반복을 멈추고 해당 중심점에 속하는 데이터 포인트들을 군집화하는 기법이다

 

파이썬 머신러닝 완벽 가이드

 

STEP 1 : 군집의 갯수만큼 임의의 위치에 중심점을 정한다.

STEP 2 : 각 데이터를 가장 가까운 중심점에 해당하는 군집에 소속시킨다.

STEP 3 : 각 군집에 속해있는 데이터들의 평균 거리를 갖는 중심위치로 군집의 중심점을 이동시킨다.

 

STEP 2~3의 과정을 반복하고, 중심점의 위치에 변화가 없을 경우 군집화 과정을 멈춘다. 알고리즘 자체는 단순하지만, 피처 수가 많아지면 기하급수적으로 느려지는 현상이 있기 때문에, PCA와 같은 차원 축소 알고리즘을 통해 피처 수를 줄여주어야 한다.

 

• K-평균 알고리즘에서 중심점은 임의의 곳에 위치시키고 주변의 데이터를 가까운 중심점에 해당하는 군집으로 소속시키는 기준은 바로 거리이다
• K-평균 알고리즘은 각 데이터를 모든 중심점과 비교한 뒤 가장 가까운 중심점에 소속시키며, 일반적으로는 유클리디안 거리(직선 거리)를 사용한다. 이러한 방식으로 각 데이터가 가장 가까운 중심점을 찾아 소속 군집을 정하고, 이후 중심점을 군집 내 데이터들의 평균 위치로 이동시키는 과정을 반복하여 군집을 형성한다
• 이러한 거리 기반 할당을 통해 K-평균은 중심점이 데이터 분포의 중심에 위치하도록 조정하게 된다

핵심 기준은 바로 '거리' 이다

그럼 K-평균 알고리즘을 이용해 클러스터링을 했을 때 성능이 얼마나 좋은지는 어떻게 평가할 수 있을까? 비지도 학습이기에 정답값이 없으므로 맞췄는지 틀렸는지를 통해 성능을 파악할 수 없다

➡️ 이러한 클러스터링 평가에도 거리를 사용한다

 

 

실루엣 계수 (Silhouette Coefficient)

• 군집 평가 방법으로 실루엣 분석이 있다. 실루엣 분석은 각 군집 간의 거리가 얼마나 효율적으로 분리되어 있는지를 나타낸다
• 효율적으로 잘 분리됐다는 것은 다른 군집과의 거리는 떨어져있고 동일 군집끼리의 데이터는 서로 가깝게 잘 뭉쳐있다는 의미이다
• 군집화가 잘 될수록 개별 군집은 비슷한 정도의 여유공간을 가지고 떨어져 있게 된다
• 실루엣 분석은 실루엣 계수를 기반으로 한다. 실루엣 계수는 개별 데이터가 가지는 군집화 지표이다.
• 개별 데이터가 가지는 실루엣 계수는 해당 데이터가 같은 군집 내의 데이터와 얼마나 가깝게 군집화되어 있고, 다른 군집에 있는 데이터와는 얼마나 멀리 분리되어 있는지를 나타내는 지표이다

실루엣 계수 공식

 

 

• 실루엣 계수는 -1 ~ 1 사이의 값을 가지며, 1로 가까워질수록 근처의 군집과 더 멀리 떨어져 있는 것이고 0에 가까울수록 근처의 군집과 가까워진다는 것이다. 음수 값은 아예 다른 군집에 데이터 포인트가 할당됐음을 나타낸다
• 좋은 군집화가 되려면 다음 기준 조건을 만족해야 한다
  1. 전체 실루엣 계수의 평균값, 실루엣 스코어값이 0 ~ 1 사이의 값을 가지며, 1에 가까울수록 좋다
  2. 하지만 전체 실루엣 계수의 평균값과 더불어 개별 군집의 평균값의 편차가 크지 않아야한다. 개별 군집의 실루엣 계수 평균값이 전체 실루엣 계수의 평균값에서 크게 벗어나지 않는 것이 중요하다
  3. 만약 전체 실루엣 계수의 평균값은 높지만, 특정 군집의 실루엣 계수 평균값만 유난히 높고 다른 군집들의 실루엣 계수 평균값이 낮으면 좋은 군집화 조건이 아니다

 

붓꽃 데이터에 대한 실루엣 다이어그램

 

• 이 그래프들은 붓꽃 데이터에 대해 그린 것으로, 모든 샘플의 실루엣 계수를 할당된 클러스터와 계수 값으로 정렬하여 그리면 더 많은 정보가 있는 그래프를 얻을 수 있으며, 이를 실루엣 다이어그램이라 한다.
• 이 그래프의 높이는 클러스터가 포함하고 있는 샘플의 개수를 의미하고, 너비는 클러스터에 포함된 샘플의 정렬된 실루엣 계수를 나타내며 넓을수록 좋다
• 붉은색의 수직 점선은 각 클러스터 개수에 해당하는 평균 실루엣 점수를 의미한다. 이 점선보다 그래프가 왼쪽에 위치할 경우, 해당 클러스터의 데이터들이 다른 클러스터랑 가까워서 제대로 구분되지 않은 것을 의미하므로 안좋은 클러스터라 해석할 수 있다
• 대부분의 클러스터가 평균을 넘어있는 5개가 해당 데이터에는 적절한 개수라 해석할 수 있다

 

 

 

---

 

 

 

2-2. 계층적 클러스터링

• 계층적 군집화(Hierarchical Clustering)는 데이터 포인트들을 거리나 유사도 기반으로 계층적으로 묶어나가는 군집화의 방법으로, 클러스터의 수를 사전에 정하지 않아도 된다는 특징이 있다
• 위의 예시처럼 주로 덴드로그램(계층 구조를 나타내는 트리 구조)을 통해 데이터를 시각화할 수 있다

 

 

위의 그래프들은 왼쪽의 데이터들을 계층적으로 군집화한 간단한 예시이다

1. 왼쪽 그래프: 데이터 포인트들이 2차원 공간에 분포되어 있다. 초기에는 군집 정보 없이 이 데이터들이 흩어져 있는 모습
2. 오른쪽 덴드로그램: 계층적 클러스터링의 결과로 생성된 덴드로그램. 덴드로그램의 각 가지는 군집이 결합되는 과정을 시각화하며, 아래에서 위로 갈수록 군집이 병합되어 큰 그룹을 형성한다

1. 왼쪽 그래프 - 초기 데이터 포인트

• 초기 상태에서, 여러 데이터 포인트가 2차원 공간에 흩어져 있다. 이 상태에서 각 데이터 포인트는 개별적인 군집으로 간주된다
• 계층적 클러스터링에서는 이 초기 개별 포인트를 하나의 군집으로 보고, 유사한 군집끼리 점차 병합해 나간다

2. 오른쪽 덴드로그램 - 계층적 병합 과정 시각화

• 덴드로그램의 개념: 덴드로그램은 계층적 클러스터링의 병합 과정을 트리 구조로 시각화한 것이다. 각 데이터 포인트를 잎사귀로 보고, 이 잎사귀들이 가지로 연결되며 군집을 형성하는 과정을 보여준다
• 아래에서 위로 병합: 덴드로그램의 가장 하단에서 시작해 점차 위쪽으로 병합이 이루어진다. 가장 가까운 포인트나 군집부터 병합하며, 점차 큰 군집을 형성한다. 덴드로그램의 가지가 갈수록 두꺼워지고 길어지며, 최상단에 도달하면 모든 데이터가 하나의 큰 군집으로 합쳐진다

3. 덴드로그램 해석 - 군집 선택

• 덴드로그램을 해석할 때 특정 높이에서 가지를 잘라서 해당 단계의 군집 수를 결정할 수 있다. 예를 들어, 트리의 특정 높이에서 가지를 자르면 두 개, 세 개 등 다양한 개수의 군집을 얻을 수 있다
• 군집 간의 거리: 가지의 길이는 군집들 사이의 거리를 의미한다. 길이가 짧은 경우, 두 군집이 가까운 거리에서 병합된 것

 

 

---

 

 

2-3. 밀도 기반 클러스터링

• 데이터의 밀도가 높은 영역을 클러스터로 인식하고, 밀도가 낮은 영역에 있는 데이터는 클러스터로 간주하지 않는 방식
• 밀집된 데이터 포인트의 그룹을 클러스터로 간주하며, 클러스터의 수를 사전에 설정할 필요가 없다
• 대표적인 알고리즘으로 DBSCAN이 있다

 

DBSCAN (Density-Based Spatial Clustering of Applications with Noise)

 

• DBSCAN은 서로 인접한 데이터들은 같은 그룹이라는 가정한 알고리즘으로, 특정 데이터를 중심으로 밀도가 높은 곳에 포함된 데이터에는 클러스터를 할당하고 밀도가 낮으면 그 데이터를 노이즈로 취급하여 구분한다
• 간단하고 직관적인 알고리즘이지만 데이터의 분포가 복잡한 데이터에도 효과적인 군집화가 가능하다
• 데이터들의 밀도 계산을 통해 밀접하게 분포된 데이터들끼리 그룹핑하는 알고리즘이다. 따라서 K-평균처럼 클러스터의 개수를 미리 지정할 필요가 없다

 

 

 

DBSCAN의 동작 과정을 살펴보겠다

딱 2가지 값만 이해하면 DBSCAN의 동작 과정을 이해할 수 있다

주변에 최소 몇 개 이상 데이터를 포함할지 개수와 원의 반경을 정하면 된다

• 원의 반경은 어느 정도까지 데이터를 포함할지를 결정한다. 그림의 예시처럼 데이터를 포함할 범위를 나타낸다
• 예시에서는 주변 최소 데이터를 5개 이상 설정하였다
• 첫번째 포인트에서 주변 데이터는 6개이다. 이제 다음 포인트로 넘어가면 5개, 5개, 7개, 6개, 5개씩 조건을 만족할 경우 밀도가 높다고 판단하여 알고리즘이 같은 그룹으로 묶는다
• 중간에 외곽쪽 포인트는 5개 이상 조건을 만족하지 못하므로 그룹이 더 확장되지 못한다. 이렇게 경계를 벗어난 데이터를 노이즈 데이터라 한다

 

 

K-Means vs DBSCAN

 

위의 이미지는 곡선과 같은 비선형 데이터 분포에서 K-Means와 DBSCAN으로 클러스터링했을 때의 결과이다

DBSCAN의 장단점으로는

• 장점
  • 사전에 클러스터 개수를 설정할 필요가 없다
  • DBSCAN을 이용해 이상치를 발견할 수 있다
  • 클러스터의 결과가 이상치에 영향을 크게 받지 않는다
• 단점
  • 고차원 데이터에 대해서는 잘 작동하지 않는다
  • 밀집도가 떨어지는 희소한 데이터에 대해서는 다소 성능이 떨어지게 된다

 

 

 

---

 

 

2-4. 모델 기반 클러스터링

 

데이터를 하나 이상의 확률 분포로 모델링하여 클러스터링하는 방법이다

가우시안 분포(정규 분포)로 모델링하는 방식이 주로 사용된다

 

GMM (Gaussian Mixture Model)

가우시안 분포 활용 : GMM은 군집화를 적용하고자 하는 데이터가 여러 개의 가우시안 분포를 가진 데이터 집합들이 섞여서 생성된 것이라는 가정하에 군집화를 수행하는 방식이다

 

 

 

GMM(Gaussian Mixture Model)을 통한 클러스터링 과정은 다음과 같이 단계별로 한번 살펴보면 아래와 같다

1. 초기화: 데이터에 대해 정규 분포의 개수(클러스터 개수)를 설정하고 각 분포의 초기 매개변수(평균, 분산, 혼합 계수)를 랜덤하게 설정한다
2. E-단계(Expectation): 현재 매개변수 값을 기반으로 각 데이터 포인트가 모든 클러스터에 속할 확률(가능도, likelihood)을 계산하여, 가장 높은 확률을 가진 정규 분포에 할당한다
3. M-단계(Maximization): E-단계에서 구한 확률을 바탕으로 클러스터 중심과 분포 모양을 조정한다
   1. 위 1번 단계에서 개별 데이터 포인트를 모두 할당한 후, 각 그룹의 데이터 포인트를 이용하여 Maximum Likelihood Estimation(최대 우도 추정)으로 모분포의 모평균과 모분산을 추정한다
   2. 개별 데이터 포인트로 각 정규 분포의 모수를 추정한다. 위 그림에서 정규 분포의 평균과 분산이 변경된 것을 확인할 수 있다 개별 데이터들의 소속과 정규 분포의 모수(평균과 분산)가 변하지 않을 때까지 1,2 단계를 반복 수행한다
   3. 각 데이터의 확률을 바탕으로 각 클러스터의 평균, 분산, 혼합 계수를 업데이트하여 클러스터링 성능을 향상시킨다
4. 반복: E-단계와 M-단계를 반복하여 매개변수를 최적화한다. 수렴 조건에 도달하면(책임도의 변화가 미미할 때) 반복을 종료한다
5. 클러스터 할당: 최종적으로 각 데이터 포인트를 가장 높은 책임도를 가진 클러스터에 할당한다

 

 

 

위의 과정을 살펴보면 여러 수학적인 개념들을 요구하는데 해당 내용에서는 세세한 수학적 해석까지 다루지는 않기에  GMM이란 어떤 데이터 분포에 대해 가우시안 분포로 데이터들이 위치한다고 가정하고 각각에 그룹에 맞는 가우시안 분포를 찾는 과정이다 정도로 이해하여도 충분하다

이 과정에서 EM 알고리즘(Expectation-Maximization)을 통해 각 클러스터의 평균, 분산, 혼합 계수를 최적화한다

 

GMM도 K-Means처럼 적절한 클러스터 개수를 선택하는 것이 필요하다

• 가우스 혼합에서는 실루엣 스코어와 같은 지표를 사용할 수 없는데, 이는 클러스터가 타원형이거나 크기가 다를 때 안정적이지 않기 때문이다
• 따라서 BIC(Bayesian information criterion), AIC(Akaike information criterion)와 같은 이론적 정보 기준을 최소화하는 모델을 찾는다
• BIC, AIC는 모두 학습할 파라미터가 많은 (클러스터가 많은) 모델에게 벌칙을 가하고 데이터에 잘 맞는 모델에게 보상을 더한다
• 이 지표들이 클러스터 개수에 따라 값이 변하는 그래프를 보면서 최소가 되는 지점의 클러스터 개수를 적절한 개수로 사용한다

 

 

 

 

---

3. 이상 탐지

비지도 학습에 이상치 및 특이치 탐지 알고리즘도 포함된다

주로 대부분의 데이터가 정상 데이터이고 결함 또는 이상치가 극히 적은 경우, 정상 데이터의 패턴에서 벗어난 데이터를 이상치로 탐지하는 형태이다

 

예시로 두 가지 알고리즘에 대해 간단히 살펴보겠다

 

 

3-1. Isolation Forest

고차원 공간에서의 이상치 탐지에 효율적인 알고리즘으로, 우리가 이전에 배웠던 결정 트리와 랜덤 포레스트의 특징을 활용한 알고리즘이다

 

 

 

• 위의 예시처럼, 노이즈는 밀집된 데이터 포인트들과 떨어져있을 것으로 가정하여 트리의 특성을 활용해 노이즈를 탐색한다
• 랜덤 포레스트에서 각 노드에 특성을 랜덤하게 선택한 다음 (최솟값과 최댓값 사이에서) 랜덤한 임곗값을 골라 데이터셋을 둘로 나눈다
• 이런 식으로 데이터셋은 점차 분리되어 모든 샘플이 다른 샘플과 격리될 때까지 진행된다. 이상치는 일반적으로 다른 샘플과 멀리 떨어져 있으므로 (모든 트리에 걸쳐 ) 평균적으로 정상 샘플과 적은 단계에서 격리된다
• 이렇게 Isolation Forest는 트리 구조를 활용해 데이터가 격리되는 평균 거리를 측정하여 이상치를 찾는 방법이다. 데이터 포인트가 쉽게 격리되면 이상치일 가능성이 높다

 

 

---

 

 

3-2. One-Class SVM

 

다음은 One-Class SVM 이다

이전에 배웠던 SVM 모델의 특성을 이용하여 정상 데이터의 분포로부터 떨어져있는 데이터를 이상치로 탐지하는 방법이다

 

ttps://losskatsu.github.io/machine-learning/oneclass-svm/#2-one-class-svm의-목적

 

커널 SVM 분류기가 두 클래스를 분리하는 원리를 사용한다

모든 샘플을 고차원으로 매핑한 다음 이 고차원 공간에서 선형 SVM 분류기를 사용해 두 클래스를 분리한다

• 경계를 설정해 데이터가 대부분 포함되는 공간을 정의하고, 경계 밖에 있는 데이터를 이상치로 간주한다
• 정상 데이터들은 어떤 패턴을 띄거나 밀집되어 있고 이상치는 떨어져 있을거라 가정하고 이 둘 사이의 경계를 찾아서 경계 밖의 데이터들을 이상치로 탐지하는 알고리즘이다

 

SVM과 One-Class SVM를 비교하면서 살펴보면

1. SVM은 두 개 이상의 클래스가 주어졌을 때, 각 클래스를 최대한 잘 구분하는 초평면을 찾는다. 이는 두 클래스 사이의 여백(margin)을 최대로 하여 분류를 수행하는 방식이다
2. One-Class SVM은 이상 탐지를 위한 SVM의 변형 알고리즘이다. 단일 클래스의 정상 데이터만 학습하여 해당 데이터의 경계를 정의하는데 이때 원점을 기준으로 정상 데이터는 초평면 바깥쪽으로 멀리 두고, 비정상 데이터(이상치)는 원점에 가까운 위치로 구분하게 된다. 즉, 정상 데이터는 초평면을 기준으로 멀리 떨어진 영역에 분포시키고, 초평면 내부나 원점에 가까운 데이터는 비정상으로 판단하게 된다

이렇게 초평면을 기준으로 정상 데이터는 멀리, 비정상 데이터는 가깝게 매핑하여 이상을 감지하는 것이 One-Class SVM의 핵심이다

 

 

이 두 알고리즘 외에도 Fast-MCD, LOF (local outlier factor) 등등 다양한 이상치 탐지 알고리즘이 존재한다

 

 

 

 

 

---

4. 비지도 학습의 한계 및 장단점

 

 

비지도 학습은 데이터에 사전 정의된 레이블 없이 데이터 내의 패턴이나 구조를 찾아내기 위해 사용된다

대표적으로 클러스터링과 차원 축소, 이상치 탐지 등에 활용되며, 레이블이 없는 대규모 데이터에서 통찰을 얻는 데 유용하다

그러나 레이블이 없다고 하여 항상 이 알고리즘들이 유용한 것만은 아니다

 

장점

1. 레이블 필요 없음: 레이블이 없는 데이터에서도 사용 가능하여 대규모의 비정형 데이터를 분석할 수 있다
2. 데이터의 숨겨진 패턴 발견: 클러스터링을 통해 데이터 내의 존재하는 패턴이나 관계를 찾아낼 수 있다
3. 차원 축소 가능: PCA, t-SNE, UMAP 등을 통해 데이터 차원을 줄여 복잡한 데이터의 시각화와 계산 효율성을 향상시킬 수 있다
4. 이상치 탐지: 정상 데이터와의 경계 설정을 통해 비정상 데이터를 탐지할 수 있다

한계

1. 결과 해석의 어려움: 레이블이 없기 때문에 도출된 패턴이나 군집을 해석하고 실제 의미를 부여하기가 어렵다
2. 모델 평가의 어려움: 성능 평가 지표가 모호하여 모델을 정확히 평가하기가 쉽지 않다
3. 비정확한 군집화 가능성: 클러스터링 같은 경우 사전 정의된 군집 수나 데이터 분포에 크게 영향을 받으며, 군집이 명확하지 않으면 성능이 저하될 수 있다

비지도 학습은 특히 데이터 이해와 초기 분석, 레이블링이 어려운 경우에 유용하지만, 특정 패턴이 모호하거나 목적에 맞는 군집화가 명확하지 않을 경우 결과 해석에 한계를 가질 수 있다

 

 

 

---

 

지금까지 비지도학습에 대해 전반적인 개요와 대표적인 방법, 알고리즘에 대해 살펴보았다

머신러닝 파트를 공부하면서 느낀 점은 단순히 모델을 사용하는 것을 넘어 더 적절하게 그리고 좋은 성능을 내기 위해선 데이터와 모델에 대한 이해가 높아야하며, 여기에 수학적인 개념이 많이 요구된다는 것이였다

해당 책에서는 비지도 학습이라는 방법을 하나의 장 안에 다루어야 했기에 그 깊이가 얕다는 점이 존재한다

따라서 이번 공부를 통해 비지도 학습에 어떤 방법들이 쓰이는지 인지하였고 공부하면서 몰랐거나 이해가 부족했던 수학적 개념과 파트들을 정리하여 보충하는 시간을 가져보려 한다