핸즈온 머신러닝 2장. 머신러닝 프로젝트 처음부터 끝까지

 

친구들과 같이 진행하는 스터디에서 격주로 핸즈온 머신러닝 한 챕터씩 공부하고 발표를 하고 있다.

이 글은 발표를 위해 준비한 대본을 정리해서 올린 글로, 입문자 또는 초급자가 보는 것을 가정하고 적는다. 

 

---

 

목차는 다음과 같다.

캘리포니아 주택 가격이라는 간단한 프로젝트를 처음부터 끝까지 진행하면서 각 프로세스별로 어떤 과정을 거쳐야하는지, 전반적으로 알아보겠다.

 

1. 문제 정의 및 가설 설정
2. 데이터 분석
3. 데이터 전처리
4. 모델 선택 및 학습
5. 모델 튜닝 및 고도화
6. 론칭, 모니터링과 유지보수

---

 

1. 문제 정의 및 가설 설정

 

1.1 큰 그림 보기

< 모델 개발 및 적용까지 전반적인 프로세스 >

 

• 2장의 전체적인 프로세스를 잘 나타내준 이미지를 발견하여 가져왔다. 이미지 출처는 맨 밑.
• 각 프로세스들을 간단히 짚고 넘어가자면
  • 문제 정의. 집값을 예측할 것인지 아니면 고양이와 강아지를 구분할 것인지와 같은 무슨 문제를 풀어야 하는지를 먼저 정의해야 한다
  • 데이터 확인. 수집한 데이터를 분석하여 우리가 이 데이터를 어떻게 다루면 좋을지, 이 데이터에서 어떤 것들을 알 수 있고, 어떤 인사이트를 얻을 수 있는지 등을 확인하고 공유한다
  • 데이터 분할. 학습할 데이터와 최종 평가를 위한 테스트 데이터는 사전에 분리해야한다. 
  • 알고리즘 탐색. 책에서는 해당 내용은 없으나 실무에서 리서치 부분에 해당한다. 문제 정의와 데이터 분석을 통해 얻은 정보들을 바탕으로 어떤 알고리즘, 모델을 사용하면 좋을지, 기존에 비슷한 연구나 프로젝트, 사례가 있었는지 등을 찾아보는 과정이다
  • 데이터 전처리. 데이터 분석을 통해 발견한 특이사항, 문제점들을 처리한다. 이상치를 제거, 대체하거나 데이터의 분포를 변경해주거나 스케일을 통일시켜주는 등의 작업들이 해당된다
  • 학습과 검증. 알고리즘 탐색을 통해 찾은 여러 모델들을 테스트해보고 성능이 좋은 모델을 베이스라인으로 선정하여 여러 학습 기법을 적용하고 모델 튜닝을 하면서 성능을 고도화시킨다.
  • 최종테스트. 검증을 통해 모델의 성능이 어느정도 사용가능한 정도를 만족시켰다면 이전에 분리한 테스트셋을 통해 최종 평가를 진행한다. 
  • 시스템 런칭. 평가를 마친 모델을 배포하여 웹이나 다양한 어플리케이션과 접목시켜 실제 서비스를 제공한다. 모델이 잘 작동하고 있는지, 문제가 생기면 어떻게 해결할지 등 모니터링과 유지 보수가 필요하다.

 

 

 

 

 

1.2 문제 정의

 

프로젝트를 진행하기에 앞서 우리가 가장 먼저 해야할 것은 문제 정의, 목적이 무엇인지 아는 것이다. 우리가 어떤 목적을 위해 프로덕트를 만들어야 하는지, 어떤 문제를 풀어야 하는지. 쉽게 말하자면 상사나 고객이 요청한 요구사항이 구체적으로 어떤 것인지를 먼저 알아야한다.

• • 문제 정의가 중요한 이유는 정의를 어떻게 하는가에 따라 우리의 접근법이나 계획들이 달라질 수 있기 때문이다. 간단하게 말하자면 견적을 짠다, 큰 그림을 그린다-는 말로도 표현할 수 있다.
  • 앞에서 다룬 예시처럼 집값을 예측할 것인지, 개와 고양이를 분류할 것인지에 따라 어떤 딥러닝 기법을 적용할지, 어떤 알고리즘을 사용하며 어떤 전처리를 해줄 것인지, 어떤 성능 지표를 써야할지 등 여러가지 사항들을 미리 정리하는 것이 좋다.
  • 이 프로젝트를 간단한 가상의 상황으로 설정해보겠다. 당신은 부동산과 주택 매물 거래 등을 다루는 큰 회사의 AI 개발자이며 상사의 요청으로 부동산 투자에 활용하기 위한 집값 예측 모델을 개발해달라는 요청을 받았다
  • 그래서 문제 정의를 먼저 하고자 상사에게, 고객에게 이렇게 질문했다. ‘이 비즈니스, 개발의 목적이 정확히 무엇인가요?? 무엇을 만들면 될까요??’
  • 운좋게 빠른 답변을 들을 수 있었다. ‘캘리포니아 인구 조사 데이터를 사용해 캘리포니아의 주택 가격 모델을 만드는 것’
  • 데이터에 라벨링이 되어 있다고 한다! 그렇다면 이건 정답값이 있는 지도학습! 그리고 값을.. 예측? 아 회귀 문제! 당신은 회귀 모델을 지도 학습 방법으로 사용하기로 결정했다.
  • 이제 이 문제를 어떻게 해결할 것인지 하나씩 알아보도록 하겠다. 

 

 

 

 

 

1.3 성능 측정 지표 선택

• 문제 정의를 통해 당신은 회귀라는 학습 방법을 사용하기로 결정했다. 하지만 회귀로 모델을 만들더라도 이 모델이 성능이 좋은지 안좋은지를 판단하기 위한 기준이 필요하다
  ⇒ 그래서 우리는 문제 정의 후에 각 방법에 적합한 성능 측정 지표를 선택해야 한다.
• 회귀의 성능 측정 지표에는 여러가지가 존재한다. 우리는 그 중 책에서 설명한 3가지 지표, MAE, MSE, RMSE에 대해 알아볼 것이다

 

성능 측정 지표를 이해하기 위해선 오차라는 개념에 대해 먼저 알아야한다.

• 오차란 실제값에서 예측값을 뺀 값, 실제값과 예측값 간의 차이를 말한다. 
• 이런 오차값을 절댓값이나 제곱 등 여러 계산을 사용한 것이 MAE, MSE, RMSE이다

 

 

---

 

 

MAE (Mean Absolute Error)

• 핵심 포인트는 절댓값이다. 실제값(yi) 에서 예측값(y^i) 을 빼서 구한 오차에 절댓값으로 변환하고 이 값들을 모두 더해서 데이터의 전체 개수만큼 나누어 평균값을 구한다
• 절댓값 변환 외에는 다른 계산이 없기 때문에 데이터와 같은 단위를 가지므로 직관적이다! 하지만 동시에 절댓값 때문에 모델이 예측을 실제값에 비해 낮게 했는지 높게 했는지를 알 수 없다
  
  ex) 실제값이 3, 예측값이 1이라면 오차는 3-1 = 2 / 실제값이 1, 예측값이 3이라면 오차는 1-3 = -2 이렇게 오차가 2와 -2가 나왔지만 여기에 절댓값을 씌우면 전부 2로 나오기 때문에 예측값이 실제값보다 높은지 낮은지를 알 수 없다
  MAE는 모델과 전체 데이터에 대한 성능을 나타내는 하나의 값이므로 MAE값 만큼 모델이 낮게 예측하는지 아니면 높게 예측하는지 또한 파악할 수 없다

 

장점

1. 직관적 해석:
   MAE는 실제 값과 예측 값의 절대 차이를 평균한 값이므로, 해석이 직관적이고 단위가 실제 값의 단위와 동일하다. 예를 들어, 실제 값의 단위가 달러($)라면 MAE도 달러($) 단위이다.
   
   
2. 이상치에 덜 민감함:
   MAE는 각 오차의 절대값을 취하여 평균을 내므로, 이상치에 대한 영향이 MSE보다 적다. 이는 이상치가 많은 데이터에 대해 안정적인 성능 평가를 가능하게 한다.
   
   
3. 균형 잡힌 패널티:
   MAE는 모든 오류에 대해 동일한 패널티를 부과한다. 이는 작은 오류와 큰 오류에 대해 균형 잡힌 평가를 할 수 있게 한다.

 

단점

1. 미분의 어려움:
   MAE는 절대값을 포함하고 있기 때문에, MSE처럼 간단히 미분할 수 없다. 이는 최적화 알고리즘에서 사용하는 데 약간의 어려움을 줄 수 있다.
   
   
2. 큰 오류에 덜 민감함:
   MAE는 큰 오류에 대해 MSE만큼의 패널티를 부과하지 않으므로, 큰 오류를 줄이는 데는 MSE보다 덜 효과적일 수 있다.

 

사용하기 적합한 상황

1. 이상치가 많은 데이터:
   MAE는 이상치에 덜 민감하기 때문에, 이상치가 많은 데이터에 대해 모델 성능을 평가하는 데 적합하다.
   
   
2. 직관적 해석이 필요한 경우:
   예측 성능을 실제 값의 단위로 해석하고자 할 때 MAE를 사용하는 것이 적합하다.
   
   
3. 균형 잡힌 오류 평가:
   모든 오류에 대해 균형 잡힌 평가가 필요한 경우, 예를 들어, 큰 오류뿐만 아니라 작은 오류도 고르게 중요시하는 경우에 MAE를 사용하는 것이 적합하다.

 

---

 

 

 

MSE (Mean Squared Error)

• MAE가 오차를 절댓값으로 변환해줬다면 MSE는 제곱을 해준다!
• 실제 값과 예측 값 사이의 차이를 제곱하여 평균을 내는 방식으로 계산된다

장점

1. 직관적 이해:
   예측 값과 실제 값의 차이를 제곱하여 평균을 내는 방식이기 때문에 MAE와 마찬가지로 직관적으로 이해하기 쉽다. 차이의 제곱이므로 항상 양수이고, 차이가 클수록 패널티가 커진다.
   
   
2. 수학적 편리성:
   MSE는 미분 가능하고, 경사 하강법과 같은 최적화 알고리즘에 쉽게 적용할 수 있다. 제곱항의 미분이 간단하여 수학적으로 다루기 쉽다.
   
   
3. 큰 오류에 대한 큰 패널티:
   MSE는 예측 오류가 클수록 그에 대한 패널티가 제곱으로 증가하기 때문에 큰 오류에 민감하다. 이는 큰 오류를 줄이는 데 효과적이다.
   
   

단점

1. 이상치에 민감함:
   MSE는 큰 오류에 대한 패널티가 크기 때문에 이상치(Outlier)에 매우 민감하다. 데이터에 이상치가 많다면 MSE는 과도하게 큰 값을 가지게 된다.
   
   
2. 해석의 어려움:
   MSE의 단위는 실제 값의 단위의 제곱이다. 예를 들어, 실제 값의 단위가 달러($)라면 MSE의 단위는 달러 제곱($^2)이 된다. 이는 데이터의 스케일에 따라 해석이 다소 어려울 수 있다.

 

사용하기 적합한 상황

1. 이상치가 적은 데이터:
   MSE는 이상치에 민감하기 때문에, 데이터에 이상치가 많지 않은 경우에 사용하는 것이 적합하다.
   
   
2. 큰 오류를 줄이는 것이 중요한 경우:
   MSE는 큰 오류에 대해 큰 패널티를 부과하므로, 큰 오류를 줄이는 것이 중요한 경우에 적합하다. 예를 들어, 금융 분야에서 큰 손실을 피하는 것이 중요한 경우에 유용할 수 있다.
   
   
3. 회귀 모델의 학습과 평가:
   MSE는 회귀 모델의 성능을 평가하는 데 널리 사용되며, 모델의 학습 과정에서 손실 함수로 자주 사용된다.

 

 

 

 

 

---

 

RMSE (Root Mean Squared Error)

 

• MSE (Mean Squared Error)의 제곱근을 취하여 계산한 값으로, MSE가 제곱 연산으로 큰 이상치 데이터에 영향을 많이 받는 것을 루트를 통해 영향을 감소시켰으나 어느정도 이상치의 영향을 여전히 받는다
• 루트를 통해 실제 데이터와 같은 단위로 표현되어 MAE처럼 직관적이고 해석이 용이하다.

장점

1. 직관적 해석:
   RMSE는 예측 오차의 제곱을 평균하여 제곱근을 취하기 때문에 실제 값과 같은 단위를 가지게 된다. 이는 결과를 직관적으로 해석하는 데 도움이 된다.
   
   
2. 큰 오류에 민감함:
   RMSE는 큰 오류에 대해 더 큰 패널티를 부과한다. 이는 모델이 큰 오류를 최소화하는 데 효과적일 수 있다.
   
   
3. 광범위한 사용:
   RMSE는 많은 머신 러닝과 통계 모델에서 널리 사용되기 때문에, 결과를 다른 연구나 모델과 비교하기 쉬운 장점이 있다.

단점

1. 이상치에 민감함:
   RMSE는 오류의 제곱을 사용하기 때문에 이상치에 매우 민감하다.  데이터에 이상치가 많을 경우 MSE만큼은 아니더라도 RMSE 값이 크게 왜곡될 수 있다.
   
   
2. 편향된 평가:
   큰 오류에 더 큰 패널티를 부과하기 때문에, 모든 오류를 균형 있게 평가하지 못하고 큰 오류에 지나치게 집중할 수 있다.
   
   
3. 비해석적 패널티 구조:
   제곱근을 취하는 구조 때문에, 패널티의 증가가 비선형적이어서 해석하기 어려울 수 있다.

 

사용하기 적합한 상황

1. 큰 오류를 줄이는 것이 중요한 경우:
   예측 오류가 클수록 큰 문제가 되는 상황에서는 RMSE를 사용하는 것이 적합하다. 예를 들어, 기상 예측 모델에서 큰 오류가 심각한 영향을 미칠 수 있는 경우가 있다.
   
   
2. 이상치가 적은 데이터:
   데이터에 이상치가 거의 없거나 적은 경우, RMSE는 효과적인 성능 평가 지표가 될 수 있다.
   
   
3. 모델 비교:
   여러 모델의 성능을 비교할 때, 특히 다른 연구나 모델과의 비교가 중요한 경우 RMSE를 사용하는 것이 유리하다.

 

 

---

 

 

간단히 3가지를 비교해보자면

• MAE는 이상치가 많거나 이상치의 영향을 줄이고 싶을 때 적합하다.
• MSE는 이상치에 민감하게 반응하여 모델을 조정하고 싶을 때 적합하다.
• RMSE는 MSE와 같은 목적을 가지면서도, 결과를 실제 단위로 표현하고 싶을 때 적합하다.

 

아래는 이상치가 존재하는 실제값과 예측값을 MAE, MSE, RMSE로 구해보는 예시이다. 

import numpy as np
from sklearn.metrics import *

y_true = np.array([1,2,3,4,100])
y_pred = np.array([5,6,7,8,50])


mae = mean_absolute_error(y_true, y_pred)
=> 13.2
------
mse = mean_squared_error(y_true, y_pred)
=> 512.8
-------
rmse = mean_squared_error(y_true, y_pred, squared=False)
rmse.round(2)
=> 22.65

 

• 이렇게 간단한 예시를 통해 실제값에서 비정상적으로 큰 이상치가 존재할 경우 MSE값이 크게 영향을 받는 것을 볼 수 있다.

 

 

 

 

 

---

2. 데이터 분석

 

 ‘캘리포니아 인구 조사 데이터를 사용해 캘리포니아의 주택 가격 모델을 만드는 것’

 

 

 

• 위의 문제 정의에서 캘리포니아 주택 가격 예측 모델을 만들기로 했고 이를 위해서 1990년 캘리포니아 인구조사 데이터를 기반으로한 실제 캘리포니아 주택 가격 데이터셋을 사용하기로 했다
• 인구, 중간 소득, 중간 주택 가격 등 다양한 정보를 포함하고 있다.
• 이 데이터에 대해서 어떤 정보들을 담고 있는지, 어떤 구조로 이루어져 있는지 등등 데이터에 대해 분석을 진행하여 모델 학습에 활용해보려 한다

 

---

 

2.1 데이터 구조 확인

• 데이터셋을 확인할 때는 먼저 어떤 특성들과 어떤 형태의 데이터들이 담겨 있는지, 얼마나 들어있는지 개수 등을 확인해보는 것이 필요하다
• 판다스의 여러 기능들을 통해 모델에 대해 전체적으로 살펴볼 것이다.
• 모델을 살펴보기 위해 head(), info(), describe(), histogram 을 사용해보겠다

 

head()

• 데이터셋의 처음 다섯행을 출력하는 기능으로, 어떤 데이터들이 들어있는지 대략적으로 확인할 수 있다. 디폴트 값은 5로 5개 행이 출력되지만 더 많이 보고 싶거나 조절하고 싶다면 head(7) 이렇게 원하는 숫자로 변경해주면 된다

 

 

 

info()

 

• info를 통해 데이터셋의 개수, 데이터의 형태, 특성의 이름 및 개수 등 다양한 정보들을 확인할 수 있다
• 여기서 주목할 부분은 파란색과 빨간색으로 표기한 부분이다
  • RangeIndex : 20640. 총 데이터의 개수를 확인할 수 있다. 
  • Data columns (total 10 columns) : 총 10개의 컬럼, 특성이 존재한다
  • Non-Null Count : Non-Null이란 무엇일까? 왜 그냥 Count가 아니고 Non-Null이 앞에 붙어있을까?
    데이터셋 중 값이 존재하지 않아 비어있는 값을 우리는 null이라 부르며 결측치라고도 한다
    Non-Null = Not Null, null값이 아니다 => 비어있지 않다! 
    여기서 주의할 점은 null은 비어 있는 값이지 0이 아니다
    또한 non-null, 값이 잘 채워져있다고 해서 무조건 정상 데이터라고 할 수 없다.. 이는 뒤에서 이상치에 대해 자세히 다루겠다 
  • total_bedrooms 20433 non-null : 우리는 총 데이터 개수가 20640개임을 확인했다. 그러나 이 컬럼은 20433개만 있다는 것은 207개의 null값, 결측치가 존재함을 알 수 있다
  • Dtype = object : 해당 특성이 어떤 데이터 타입인지를 의미한다.
    float라면 1.5, 1.0과 같은 실수를 말하며 object는 'hello world'와 같은 문자들을 의미한다

 

 

 

describe()

 

• 전체 데이터 중 숫자형 특성들에 대해 데이터 개수, 평균값, 표준편차, 최소-최대값, 1,2,3분위 값을 계산하여 표 하나로 보여준다
  • 여기서 주의하면 좋을 부분은 비정상적인 값이 있진 않은지 이다.
  • total_bedrooms 특성은 info에서 207개 데이터가 비어있음을 확인하였다.
  • 그럼 다른 특성들의 평균값과 최소-최대값들을 확인해보니.. 평균값이나 분위값들에 비해 
    빨간색으로 표기한 일부 특성들에서 최대값이 비정상적으로 큰 것 같다!
  • 이런 특징들을 통해 이상치가 아닐까 의심을 해볼 수 있다. 더 자세하게 확인하기 위해 그래프를 그려보겠다!

 

 

 

히스토그램

 

• 데이터의 분포를 이해하기 쉽게 히스토그램을 그려보았다! 근데 히스토그램이 뭐냐고??
  • 데이터의 전체 범위를 일정 구간별로 나누어 그 범위에 있는 값들의 개수를 그린 그래프이다! 
  • 간단한 예시를 들자면 중학교에서 학생들의 키를 모은 데이터가 있다. 한 반의 총 인원은 30명이고 전체 범위를 140cm~180cm까지 10cm 단위로 나누고 각 범위에 해당하는 학생들의 수를 카운트한다
  • 140 ~ 150 : 5명
  • 150 ~ 160 : 10명
  • 160 ~ 170 : 10명
  • 170 ~ 180 : 5명
  • 이런식으로 범위의 개수를 센다음 막대그래프를 그린 것이 히스토그램이다!
• 이렇게 히스토그램을 그려봄으로써 우리가 얻을 수 있는 정보들은 다양하다!
  • housing_median_age, median_house_value의 경우 오른쪽 끝에 비정상적으로 값이 높은 케이스가 있다!
    이런 경우는 데이터를 수집할 때 일정 범위를 정해두고 그 범위를 넘어가는 데이터값이면 범위의 최소, 최대치로 처리한 경우일 수도 있기 때문에 해당 케이스를 고려해봐야한다
  • total_rooms, total_bedrooms, population, households는 그래프가 왼쪽으로 치우친 케이스가 있다.
    describe에서 이상치를 의심했으나 이렇게 확인해보니 비정상적으로 큰 값들이 극소수로 있음을 확신할 수 있다!
    우리는 데이터 전처리 과정에서 이런 이상치들을 어떻게 다뤄야할지를 고민해볼 것이다.
  • 그리고 그래프들의 x축을 보면 음수값부터 한자리, 두자수에서 많게는 십만단위까지 범위가 다양하다. 이런 범위 또한 전처리에서 다루는 방법을 배울 것이다!

 

---

2.2 데이터셋 분리

 

• 데이터 분석과 전처리에 본격적으로 들어가기 전에 테스트 셋을 미리 분리하려 한다
• 왜 테스트셋을 미리 분리하는걸까??
  • 모델의 최종 성능을 평가하기 위해서는 테스트셋을 마지막에 딱 한번 사용하여 평가해야한다.
  • 테스트셋으로 모델의 성능을 반복해서 평가하게 되면 모델은 해당 테스트셋에 맞춤 모델이 되기 때문에 새로운 데이터가 들어올 경우 성능이 떨어질 가능성이 크다.
  • 만약 테스트셋을 여러번 뽑아서 평가를 한다면?? 모델이 여러번 뽑으면서 전체 데이터셋을 보고 학습할 수도 있기 때문에 먼저 분리하는 것이다!

 

train_test_split

 

• 데이터셋 분리는 사이킷런의 train_test_split 기능을 통해 간단하게 할 수 있다
• 20%를 테스트셋으로 분리했으며 전체 데이터 20640개 중 train셋으로 16512개, test셋으로 4128개를 사용하였다값을 지정해주면 같은 데이터셋을 얻을 수 있다.
• 여기서 random_state 값을 지정해주지 않으면 매번 랜덤으로 셔플링하여 데이터셋을 분리하므로 추후에 모델 학습과 성능 평가는 같은 조건에서 이뤄져야 성능을 비교하기 좋으므로 특정 값으로 지정해준다
• 데이터의 형태에 따라 샘플링 편향, 그러니까 데이터셋을 분리할 때 비슷한 데이터끼리만 뽑힐 가능성도 존재한다. 이런 경우 필요한 것이 계층적 샘플링이다!
  • 간단한 예로, 설문조사를 하기 위해 1000명에게 질문하려 할 때 지역의 성비가 여성 35%, 남성 65%라면 1000건의 설문조사도 같은 성비를 유지해야 이 설문조사가 해당 지역의 의견을 어느정도 대표한다고 할 수 있을 것이다
  • 만약 설문조사 데이터를 데이터셋 분리하였을 때 테스트셋에 남성 비율이 몰려있다면?? 학습셋에 여성 비율이 몰려있다면? 이런 것을 샘플링 편향이라 하며 이런 데이터를 학습하고 평가할 경우 모델은 한쪽으로 치우진 결과를 낼 것이다
  • 따라서 우리는 이렇게 성비를 유지하면서 데이터셋 분리를 해줘야한다. 이것을 계층적 샘플링이라 한다.
    
    

 

 

 

 

계층적 샘플링 

• 계층적 샘플링을 위한 계층 만들기
  • 계층적 샘플링을 하기 위해선 남성, 여성과 같은 분류가 필요하므로 책의 내용대로 하나의 특성, 중간 소득을 중간 주택 가격 예측에 매우 중요하다고 가정하고 임의로 분류를 만들어 계층적 샘플링을 진행해보겠다
  • 범위는 0에서 15정도이며 대부분의 값들은 0과 6사이에 존재한다

 

housing["income_cat"] = pd.cut(housing["median_income"],
                               bins=[0., 1.5, 3.0, 4.5, 6., np.inf],
                               labels=[1, 2, 3, 4, 5])

 

pd.cut 기능을 사용하여 범위를 나누고 라벨링을 지정해줄 수 있다!

그리고 다시 히스토그램을 그려보면

이렇게 5개의 그룹(계층)으로 분리할 수 있다! 이제 그룹이 생겼으니 남녀 성비를 유지하여 데이터셋을 분리하듯이 이 비율을 유지하면서 데이터셋에 넣어줄 수 있다!

 

비율을 유지하면서 데이터셋을 넣어줄 떄는 StratifiedShuffleSplit이라는 사이킷런의 기능을 사용한다.

from sklearn.model_selection import StratifiedShuffleSplit

splitter = StratifiedShuffleSplit(n_splits=10, test_size=0.2, random_state=42)
strat_splits = []
for train_index, test_index in splitter.split(housing, housing["income_cat"]):
    strat_train_set_n = housing.iloc[train_index]
    strat_test_set_n = housing.iloc[test_index]
    strat_splits.append([strat_train_set_n, strat_test_set_n])

 

 

데이터셋의 그룹 비율을 유지하면서 랜덤으로 섞은 10개의 분리된 데이터셋을 출력해준다!

만약 하나만 필요하다면 train_test_split에서 stratify옵션을 사용하면된다

strat_train_set, strat_test_set = train_test_split(
    housing, test_size=0.2, stratify=housing["income_cat"], random_state=42)

 

stratify=housing["income_cat"]. 어떤 그릅을 기준으로 섞을지 지정해주면 라이브러리가 비율을 계산하여 데이터셋을 분리해준다.

 

다음은 계층 샘플링과 랜덤 샘플링을 했을 때 그룹의 비율이 어느정도 반영되는지를 비교한 표이다

 

보다시피 계층 샘플링을 할 경우 데이터의 비율이 잘 반영되고 있으나 랜덤 샘플링의 경우 다소 차이가 있음을 확인할 수 있었다.

 

---

2.3 EDA. 데이터 탐색 및 시각화

• 지금까지 데이터를 전체적으로 살펴보고 어떻게 데이터셋을 분리할 것인지에 대해 알아보았다
• 앞으로는 좀 더 깊게 데이터들을 들여다보고 그래프 등을 활용해 시각화를 해볼 것이다

 

지리적 데이터 시각화

 

 

• 우리가 사용하는 데이터에는 위도와 경도 데이터가 들어있으므로 이를 그래프로 그려보았다
• 그래프에는 다양한 옵션들이 존재하는데 먼저 밀집된 영역을 투명도로 나타내보았고 더 구분하기 쉽도록 색별로 표현해보았다
• 왜 이렇게 시각화를 해아할까??
  • 시각화를 해보면 단순히 숫자만으로는 보이지 않던 정보들, 데이터간의 관계나 패턴, 인사이트 등을 얻을 수 있다
  • 위의 예시로 위도 경도를 표기했을 뿐인데 캘리포니아의 해안가 위주로 주택 거래가 몰려 있음을 통해서 가장 인기 있고 가격대가 높을 거란 것을 예상할 수 있다
  • 나는 부동산과 주택 거래 등에 대해 잘 모르기 때문에 단순한 인사이트 정도만 얻었지만 도메인이 있는 전문가라면 해당 그래프를 보면서 더 깊이 있는 정보들을 뽑아낼 수 있을 것이다
  • 따라서 이런 보이지 않는 정보들을 볼 수 있도록 이끌어내기 떄문에 시각화를 잘 하는 것도 매우 중요하다!

 

 

 

 

상관관계 조사

• 데이터를 분석할 때 상관관계라는 값을 조사해보는 것도 필요하다!
• 그럼 상관관계라는 것이 무엇일까??
  • 변수들 간의 연관성을 파악하기 위해 사용하는 분석 기법 중의 하나로 변수간의 선형관계 정도를 분석하는 통계기법..
  • 간단하게 설명하자면 데이터들끼리 서로 비례, 반비례 관계인지를 파악하는 방법이다!
  • 상관관계의 범위는 -1 ~ 1이며 1에 가까우면 강한 양의 상관관계, 비례 관계이며 -1에 가까우면 강한 음의 상관관계, 반비례 관계를 나타낸다
  • 아래의 이미지들은 원하는 특성을 넣어서 한번에 상관관계 그래프를 그려주는 기능을 사용하였다.
  • 중간 소득(median_income)과 중간 주택 가격(median_house_value) 간의 상관관계 그래프를 보면 비례하는 모습을 볼 수 있다.

 

판다스를 통해 상관관계 값을 계산할 수 있다

 

 

 

 

 

 

특성 조합으로 실험하기 (피쳐 엔지니어링)

• 위에서 상관관계를 통해 데이터 간에 어떤 관계가 있는지를 확인하였다.
• 만약 상관관계가 있는 데이터끼리 조합하여 새로운 데이터를 생성한다면?
• 모델이 학습하는 과정은 스무고개를 하는 것과 같다! 그리고 새로운 특성의 데이터를 추가하는 것은 스무고개의 질문을 추가하는 것이다! 힌트가 담긴 데이터가 많을수록 더 정확한 답을 예측할 수 있다

코드의 예시를 보면 나눗셈을 통해 새로운 특성의 데이터를 만들고 상관관계를 분석했는데 bedroom_ratio라는 특성읜 꽤 유의미한 값을 보여주고 있다! 이렇게 특성들을 조합해봄으로써 학습에 도움이 될만한 데이터, 힌트들을 추가할 수 있다

 

 

 

---

3. 데이터 전처리

3.1 데이터 정제. 결측치 다루기

 

• 우리는 이전에 info를 통해 null이라는 결측치가 존재함을 확인했다! 결측치는 NaN으로 표기된다
• 그럼 이 결측치들을 어떻게 다뤄야할까? 여기에는 3가지 방법이 있다
  1. 결측치가 존재하는 특성을 열 통째로 삭제한다!
     이 방법은 주의해야한다. total_bedrooms 특성은 20640개 데이터 중 207개가 없는데 이걸 삭제한다면 더 손해일 수 있다. 만약 절반, 3분의 2 이상이 결측치라면 통째로 삭제하는 것도 좋은 선택이 될 수 있다
  2. 두번째 방법은 결측치가 존재하는 행만 삭제하는 것이다.
     현재 데이터에서는 total_bedrooms 외에 다른 특성에서 결측치가 없기 때문에 이 방법은 적합할 수 있다
  3. 세번째 방법은 결측치를 다른 값으로 대체하는 것이다.
     대체할 수 있는 값으로는 평균값, 중간값 등 데이터를 분석해보고 적절한 값으로 채운다.

 

---

 

3.2 텍스트와 범주형 피처 다루기

 

 

• 지금까지는 숫자형 데이터를 다루는 방법에 대해서 설명해왔다.
• 텍스트와 숫자로 하나의 카테고리를 나타내는 데이터들을 어떻게 다뤄야할지 설명해보겠다
• 모델이 학습하기 위해선 문자로 되어 있는 데이터들을 먼저 숫자로 바꿀 필요가 있다!
  • OrdinalEncoder라는 사이킷런의 기능을 사용하여 텍스트들을 숫자로 변환해줄 수 있다
  • 해당 특성의 데이터에서 반복되는 텍스트들, 유니크값들에게 각각의 하나의 숫자를 할당하고 이것들을 텍스트에 맞는 숫자들로 변환해준다
  • 하지만 이렇게 변환하는 방법에 단점이 하나 있는데 가까운 두 값을 멀리 떨어진 값보다 더 비슷하다고 생각하는 것이다이러한 점을 해결하기 위해 원핫인코딩이라는 방법을 사용한다
  • 여기의 예제로 말하자면 의미적으로는 1H OCEAN과 NEAR OCEAN은 모두 OCEAN이라는 점에서 유사한 특징을 가지지만 1H OCEAN은 0, NEAR OCEAN은 3이기 떄문에 모델은 1H OCEAN을 NEAR OCEAN이 아닌 다음 숫자 1인 INLAND을 더 비슷하다고 받아들인다

 

 

• 원핫 인코딩
  • PPT의 표처럼 원핫인코딩을 사용하면 0과 1을 사용하여 텍스트가 있는 위치에 1로 표시한다.
  • 이렇게 대부분이 0으로 채워져있고 텍스트의 위치에만 1로 표기한 형태를 희소 행렬이라고 한다. 이 희소 행렬을 사용하면 메모리를 절약하고 계산 속도를 높일 수 있다
  • 하지만 지금은 5개지만 더 많은 카테고리를 표현한다면?? 20개, 100개의 그룹이 있다면?? 100개의 그룹을 표현하려면 100x데이터의 개수로, 오히려 너무 커져서 훈련 속도가 느려지고 성능이 떨어질 수 있다

 

 

따라서 두 방법을 적절히 사용하여 숫자로 변환해주는 것이 필요하다

 

 

 

 

 

 

---

3.3 특성 스케일과 변환

• 이제 텍스트 데이터들도 숫자로 바꿔줬다. 하지만 해결해야할 문제가 아직 하나 남았다. 특성의 값들을 스케일링해줘야 한다
• 왜 스케일링을 해야할까??
  앞에서 describe와 히스토그램을 그려서 데이터를 확인했을 때 이야기했지만 각 데이터들의 범위가 음수에서부터 한자리, 두자리수와 크게는 십만 단위의 숫자까지 다양한 스케일이 있었다
• 만약 이대로 데이터를 모델에 학습하게 된다면 모델은 숫자가 클수록 더 중요하게 받아들이기 때문에 스케일이 큰 값들에게 더 집중할 것이다.
• 그래서 모든 데이터값들을 같은 범위로 통일시켜주는 스케일링이 매우 중요하다
• 스케일링의 방법에는 2가지가 있다

 

• 정규화
  • 데이터의 최솟값, 최댓값을 이용하여 0 ~ 1사이의 범위로 조정한다.
  • 정규화는 최소, 최댓값을 사용하기 때문에 이상치의 영향을 받는다. 비정상적으로 큰 값이 있다면 이상치는 범위의 최대치인 1이 되고 원래는 중간 정도, 0.5의 위치에 있던 값들이 0.1~0.2 정도로 떨어뜨린다.
  • 따라서 정규화는 이상치가 없거나 분포가 크게 치우지지 않을 때 사용하기 적합하다

 

 

• 표준화
  • 각 데이터의 값에 평균을 빼고 표준편차로 나눈다. 이 과정으로 데이터는 평균이 0, 표준편차가 1인 정규분포를 따르게된다.
  • 데이터에 이상치가 있거나 분포가 치우쳐 있을 경우 유용하다. 정규화와 달리 표준화는 이상치의 영향을 줄여준다. 이는 평균을 먼저 빼기 때문에 이상치의 영향이 줄어들기 때문이다. 이상치가 클수록 평균값도 커지므로 어느 정도 상쇄가 되는 것이다.

 

 

 

 

간단한 예시를 통해 이상치가 존재할 때의 정규화와 표준화를 적용했을 경우 데이터들이 변환되는 값을 표로 정리해보았다

비정상적으로 큰 값이 있다면 이상치는 범위의 최대치인 1이 되고 원래는 중간 정도, 0.5의 위치에 있던 값들이 0.1~0.2 정도로 떨어뜨린다.

 

위의 설명이 적용되는 것을 확인할 수 있다! 

 

 

---

4. 모델 선택 및 학습

 

4.1 모델 훈련 및 성능 확인

• 분석부터 전처리를 거쳐 드디어 모델 학습을 시킬 수 있게 되었다.
• 간단한 모델부터 테스트해보기 위해 LinearRegression 모델을 선택하여 성능을 확인해보니 RMSE 68687.89가 나왔다. 그럼 이 값이 과연 잘 나온걸까??
• 우리가 맞추고자 하는 중간 주택 가격은 12만에서 26만에 주로 배치되어 있다. 집값을 예측 했을때 6만 달러, 8천만원 정도가 차이가 난다면 성능이 좋다고 하기는 힘들 것이다..
• 오차가 높게 나오는 것을 보니 해당 모델로는 데이터를 충분히 학습하지 못한 것으로 보인다. 이런 경우를 과소적합이라 한다.
• 더 복잡한 모델 DecisionTree를 사용해봤더니 이번에는 RMSE값이 0이 나왔다! 잘 나왔다고 생각하고 넘어가면 좋겠지만… 작은 오차 없이 완벽히 예측한다는 것은 이 데이터셋에 지나치게 맞춰졌기 때문이다. 이런 경우를 과대적합이라 하며 새로운 데이터가 들어올 경우 성능이 크게 떨어질 가능성이 높다.
• 오차가 너무 커도 문제.. 작아도 문제.. 어느 장단에 맞춰야하는걸까? 어떻게 하면 모델을 정확하게 평가하고 성능을 올릴 수 있을까??

 

 

 

4.2 교차검증으로 평가

 

 

• 모델을 보다 더 정확하게 검증하기 위해 K-폴드 교차 검증을 사용한다
• 교차 검증이란 무엇일까?? 테스트셋을 제외한 train셋을 여러 개의 부분으로 분할하고 매 번 다른 데이터를 검증에 사용함으로써 모델의 성능을 보다 정확하게 측정하는 방법이다
• 사진의 예시로 들자면 데이터를 5개의 부분으로 나눈다. 각 fold는 동일한 크기를 갖게 하며 5번 반복을 통해 각 fold가 한번씩 테스트셋으로 사용되며 나머지 fold는 학습데이터로 사용한다
• 각 fold에서 얻은 성능 평가 결과를 평균내어 최종 성능 평가 지표로 사용한다
• 왜 교차 검증을 사용하면 좋을까?? 하나의 분할된 데이터셋을 사용할 경우 해당 데이터셋에 데이터가 어떻게 분포되어 있는가에 따라 성능 평가가 달라질 수도 있다.
• 왜 교차 검증을 사용해야 하는가?
  1. 모델 성능의 신뢰성 향상
     단일 학습/테스트 분할은 데이터의 특정 부분에 의존하므로, 데이터 분할에 따라 성능 평가가 달라질 수 있다. K-Fold 교차 검증은 데이터를 여러 번 나누어 평가하므로, 모델 성능 평가의 신뢰성을 높여준다. 이는 특히 데이터셋이 작을 때 데이터의 일부 특징이 크게 반영될 수 있기 때문에 유용하다.
     
     
  2. 과적합(Overfitting) 방지
     교차 검증은 여러 번의 학습과 평가를 통해 모델이 데이터에 과적합되지 않도록 도와준다. 다양한 데이터 분할에서의 평가 결과를 평균화함으로써, 모델이 특정 데이터 분할에만 잘 맞추는 것을 방지한다.
     
     
  3. 데이터 활용도 극대화
     교차 검증은 전체 데이터를 여러 번 학습과 평가에 사용하므로, 데이터 활용도를 극대화할 수 있다. 모든 데이터가 학습과 평가에 사용되므로, 데이터 손실 없이 성능을 평가할 수 있다.
     
     
  4. 일반화 성능 평가
     K-Fold 교차 검증은 모델의 일반화 성능을 더 정확하게 평가할 수 있다. 다양한 데이터 분할에서의 평가를 통해, 모델이 새로운 데이터에 대해 어떻게 성능을 발휘할지를 더 잘 예측할 수 있다.
     
     

 

 

 

교차 검증에 이런 장점들이 있으니 안쓸 이유가 없다! DecisionTree 모델을 가져와서 교차 검증을 지원하는 기능을 사용하여 돌려봤으나.. 여전히 안좋은 성능을 보여주고 있다. 모델의 복잡도를 올려서 더 복잡한 모델을 사용해보기로 했다!

 

 

 

 

 

• 앙상블이 적용된 RandomForest 모델을 사용해보았다.
  • 검증 RMSE 47,019 / 훈련 RMSE 17,474. 이렇게 훈련 데이터의 오차값은 낮은데 검증 데이터의 오차값이 높을 경우 훈련 데이터에 대해 과대적합되었다고 한다
  • 간단하게 비유해보자면 훈련 데이터는 학생이 공부하는 문제집이고 검증 데이터는 모의고사이다. 문제집으로 공부해서 채점했을 때는 문제와 답을 외워서 점수가 꽤 잘나오지만 모의고사에서 모르거나 새로운 문제들을 만날 경우 점수가 떨어지기도 하는 것과 같다.
  • 지금까지 사용한 3개의 모델 중 RandomForest라는 모델이 가장 성능이 좋았다. 이제 다음에는 선택한 모델을 갖고서 모델 튜닝을 해볼 것이다!!

 

 

 

 

 

 

 

 

---

5. 모델 튜닝 및 고도화

 

5.1 모델 미세 튜닝

 

 

• 모델 튜닝이 뭘까?? 모델에는 하이퍼파라미터라는 우리가 직접 조정할 수 있는 파라미터들이 존재한다. 모델마다 고유의 하이퍼파라미터가 있으며 종류도 다양하고 범위도 굉장히 다양하다
• 만약 적절한 값을 찾을 수 있다면 모델의 성능을 크게 향상시킬 수 있기 때문에 성능이 뛰어난 모델을 만들기 위해선 모델 튜닝은 꼭 필요한 작업이다
• 이해하기 쉽게 모델 튜닝을 요리로 예시를 들자면
  • 모델은 요리하는 과정에 해당하며 하이퍼파라미터는 요리 재료와 조리법, 데이터는 요리에 사용되는 재료이다
  • 앞에서 간단한 모델들로 돌려봤듯이 처음에는 단순한 레시피로 요리를 만든다 
  • 성능 확인, 맛을 한 번 보고나서 소금, 후추, 설탕 등 다양한 양념과 재료의 양을 조절하면서 요리를 더 맛있게 만든다. 여기서 양념과 재료의 양을 조절하며 최고의 레시피를 찾는 것이 하이퍼파라미터를 조정하는 과정. 즉 모델 튜닝이다.
  • 이렇게 양념과 재료들을 잘 조절하여 만든 요리, 맛있는 모델이 나온다.
• 이렇게 최고의 하이퍼파라미터 레시피를 찾기 위한 방법으로 그리드 서치, 랜덤 서치라는 두 가지 방법이 있다

 

 

 

 

 

5.2 그리드 서치 (Grid Search)

 

• 위의 그림처럼 그리드 서치는 단순하다. 탐색하기를 원하는 하이퍼파라미터와 시도해볼 값들을 넣어주면 모델이 가능한 조합을 하나씩 모두 테스트한다
• 넣어준 범위 내에서 가능한 모든 조합을 시도하기 때문에 범위 내에서 최적의 조합을 놓치지 않는다는 장점이 있다
• 하지만 모든 조합을 평가해야 하므로 탐색 범위가 크다면 걸리는 시간이 굉장히 오래 걸릴 수 있다. 그리고 범위 밖의 최적의 하이퍼파라미터를 놓칠 수도 있다

 

 

5.3 랜덤 서치 (Random Search)

 

 

• 그리드 서치는 하나씩 탐색을 하기 때문에 비교적 적은 조합일 떄, 탐색 범위가 작을 때 사용하기에 적합하다. 하지만 랜덤 서치는 설정 범위 내에서 랜덤으로 값을 선택하기에 더 넓은 범위의 탐색에 주로 사용한다
• 범위를 지정해주면 랜덤 서치는 그 범위 내에서 랜덤으로 숫자를 뽑아서 지정한 횟수만큼 조합을 탐색하고 평가한다.
• 넓은 범위를 탐색할 수 있기 때문에 운이 좋다면 최적의 조합을 빨리 찾기도 하지만 랜덤으로 뽑기 때문에 오히려 놓칠 수도 있다. 장점이자 단점이 되기도 한다
• 모델 튜닝의 초기 단계에서 Random Search를 사용하여 좋은 하이퍼파라미터 조합을 빠르게 찾고, 이후 Grid Search로 세밀하게 조정하는 방법도 좋은 접근방법이다.

 

 

 

 

5.4 최상의 모델 및 오차 분석

• 지금까지 간단한 모델을 테스트해보고 그 중에서 베이스라인으로 사용할 모델, RandomForest를 선택하고, 모델의 성능을 더 올리기 위해 하이퍼파라미터를 튜닝하는 그리드 서치, 랜덤 서치와 같은 방법들을 사용해보았다
• 그럼 이게 끝일까?? 아니다. 학습시킨 모델로부터 우리가 얻을 수 있는 정보들이 있다.
• 우리는 앞에서 데이터 분석을 하고 상관관계를 보면서 어떤 특성들이 좀 더 중요할 것이라 예측해보았다. 하지만 우리가 중요하게 생각하는 요소들과 모델이 중요하게 받아들이는 요소들 간에는 실제로는 차이가 있을 수 있다
• 예를 들어 집값을 예측하는데 있어서 우리는 방의 개수나 사는 사람들의 숫자를 좀 더 중요할 것이라 생각했는데 실제로 보니 모델은 사람들의 수입을 더 중요하게 받아들였다와 같은 상황이 있을 수 있다

 

학습한 모델에서 feature importance 추출하기. 굉장히 낮은 중요도를 보여주는 특성이 존재한다!!

 

• 그래서 모델이 데이터 중에서 얼마나 중요하게 생각하는지를 나타내주는 수치들이 있다. 이를 feature_importacnes_,  피쳐 중요도라 한다
• 피쳐 중요도는 학습한 모델로부터 가져올 수 있으며 학습에 사용된 특성들에 대해 각 특성이 모델 예측에 기여하는 중요도를 말한다. 간단히 말하면 정확하게 예측할 때 더 도움이 되는 특성들에게 모델이 점수를 매긴 것이다
• 그럼 이 값들을 보면서 우리가 무엇을 얻을 수 있을까?? 어떻게 활용하면 좋을까??
  • 앞에서 상관계수를 보고 낮은 특성들을 제거하는 것처럼 중요도가 낮은 특성들을 제거해보면서 모델의 성능이 개선되는지를 테스트해볼 수 있다! 이러한 방법은 실무나 챌린지 등에서 흔히 사용되며 초반에 간단하게 해볼 수 있는 좋은 접근법이다. 물론 성능 개선이 항상 되는 것은 아니지만 시도해보면 좋다.
  • 중요도를 보면서 이 특성은 왜 중요도가 높고 낮은지에 대해서 분석해볼 수 있는 단서가 된다. 모델이 중요하다고 한 것에는 분명한 이유가 있을 것이다. 이런 인과관계를 분석하고 찾아낼 수 있다면 모델을 더 개선시킬 수 있는 힌트를 얻을 수도 있다.
• 이제 얼마 안남았다. 테스트셋으로 마지막 평가를 하여 서비스 적용이 가능한지 마지막 검증을 해야한다.

 

 

5.4 테스트셋으로 모델 최종 평가

• 초반에 우리는 테스트셋을 미리 분리해뒀다. 이제 마지막 평가를 위해 이 테스트셋으로 성능을 확인해볼 것이다.

 

• 4만.. 이전의 결과가 6만이였던 것을 생각하면 확실히 좋아지긴 했으나 이 성능이 어느 정도로 좋은지 감을 잡을 수가 없다.
• 이때, 신뢰구간이라는 것을 통해 오차값이 어느 정도의 신뢰도를 가지고 있는지를 확인할 수 있다

 

 

• 그럼 신뢰구간이 무엇일까?? ← 이 부분은 찾아보긴 했으나 아직 이해가 많이 부족해서 설명이 부실할 수 밖에 없음.
  • 모집단의 특정 통계적 파라미터(평균, 비율 등)이 특정 구간 내에 존재할 확률을 나타내는 범위… 이렇게 말하면 아무도 이해못할 것이다. 나도 그렇다
  • 간단하게 말하자면 95% 신뢰구간은 해당 구간이 95%의 확률로 참 값을 포함하고 있음을 의미한다.

• 그럼 왜 신뢰구간을 평가 기준으로 활용할 수 있을까??
  • PPT의 코드를 보면 final_predictions - y_test. 예측값에서 실제값을 빼서 각각의 오차를 구하는 부분이 있다. 책의 내용에서 구하는 신뢰구간은 오차의 신뢰구간이다.
  • 우리는 array([39275.40861216, 43467.27680583])라는 95% 신뢰구간을 얻었다.
  • 모델이 예측한 값과 실제 값 사이의 오차들이 95% 확률로 이 범위내에 존재한다는 것을 의미한다
  • 평균내어 구한 모델의 RMSE값이 41424, 이 범위내에 포함된다는 것은 모델이 테스트셋에 대해 예측할 때 비슷한 오차들이 나오며, 전체적으로 일관되게 예측을 잘 수행한다는, 좀 더 안정성과 신뢰도가 있음을 나타낸다.

 

 

 

 

 

---

6. 론칭. 모니터링과 시스템 유지 보수

• 지금까지 정말 많은 과정들을 거쳐 마지막 모델 최종 평가까지 끝내고 드디어 서비스에 적용하게 되었다
• 모델을 개발하는 작업도 많은 것들을 요구하지만 실제 서비스 환경을 구성하고 제공하는 작업에서도 다양한 작업들이 필요하다
  1. 개발한 모델을 서비스에 적용할 수 있게끔 저장하고 배포하는 과정이 필요하다.
     모델 뿐 아니라 실제로 새로운 데이터가 들어올 경우 전처리하여 모델에 넣어주고 모델이 예측한 값을 반환하는 일련의 파이프라인, 스크립트 또한 필요하다. 이런 입출력값을 웹이나 서버와 통신하도록 백엔드와 클라우드 팀들과 협업이 필요하다.
     
     
  2. 실시간 성능 체크를 위한 모니터링 코드가 필요하다.
     시간이 흐름에 따라 새로운 데이터들은 꾸준히 들어오며 모델이 학습한 데이터가 너무 예전의 데이터로 맞지 않는 모델 부패가 발생할 수 있다. 이렇게 모델이 제대로 동작하는지 성능을 체크하고 모델을 새로 학습하여 업데이트를 해줘야할지 여부를 결정해야한다
     
     
  3. 이런 일련의 과정들은 자동화가 필요하다.
     지속적으로 들어오는 새로운 데이터들을 모델 학습에 맞게 라벨링해주고 모델을 훈련하여 업데이트하고 업데이트한 모델과 이전 모델의 성능을 비교하고 배포하여 적용까지, 이런 파이프라인과 환경, 하나의 사이클을 구성하는 것을 MLOps라고 한다.

 

 

---

 

캘리포니아 주택 가격 예측 모델을 서비스로 만들기까지 기본적으로 거쳐야할 과정들을 살펴보았다

물론 사용한 데이터와 우리가 해결해야할 문제는 간단했기 때문에 많은 내용들이 있지 않았지만 실제로는 더 복잡하고 어려운 문제들이 놓여지며 그에 따라 사용하고 적용할 방법들도 굉장히 복잡하고 어렵다

하지만 해당 책을 보면서 하나하나 채워가고 기본을 다진 후에 조금씩 더 어려운 문제들을 풀다보면 어느새 실력이 많이 늘어있을 것이다!

다음 발표에서는 분류에 대해 다뤄보도록 하겠다

 

 

 

 

 

 

출처 및 참고 레퍼런스들

• 주피터 노트북 코드 및 직접 만든 PPT 자료
• 전체 프로세스 이미지 
• 데이터셋 분할 이미지
• 교차검증 이미지
•