[부스트캠프 AI Tech 8기] 6주차 회고

 

 

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

 

 

 

이번 주는 RecSys, 추천 시스템이 메인인 한 주였다

추천 시스템이면 어떤 내용을 배우려나 싶었는데 수학, 수학 그리고 또 수학... 2주차 AI Math 때는 선형대수의 비중이 컸다면 이번 주는 확률과 통계 부분이 많이 나왔다

그리고 추천에도 물론 쓰이지만 오토 인코더 구조와 VAE, EM 알고리즘, KL divergence 등 생성형과 관련된 내용을 주로 다루었다

 

결론부터 말하자면 이번 주 내용은 따라가지 못했다..

강의의 내용들을 제대로 이해하려면 확률과 통계 등 선수 지식들이 요구된다

이전 강의 중 한 파트로써 확률을 조금 공부하는 것이 아닌 한 과목으로 어느정도 깊이 있게 공부해야 내용을 따라갈 만해보였다

팀원분께서 좋은 확률 강의를 추천해주셔서 이번 기회에 확률에 대해 공부해보는 시간을 가졌다

내용이 많아서 5개 챕터 중 1개까지 밖에, 다 보진 못했으나.. 확률에 대해 공부해볼수록 딥러닝의 모델과 손실 함수 등 기존에 단순히 알고 있던 내용들을 좀 더 넓게 보이고 데이터적으로 보는 사고 방식을 갖추는데 도움이 되는 것 같아서 앞으로도 수학 공부에 꾸준히 시간을 투자해야겠다라는 생각이 들었다

 

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

개요에서도 말했듯이 이번 주 주요 내용은 VAE같은 생성 모델과 변분 추론이었다

하지만 교육 내용을 거의 따라가지 못했기에.. 쓸만한 내용은 그리 많지 않다

 

아래 피어세션 정리에도 적었지만 이번주 주요 공부 내용은 유튜브 강의 확률 이론이다

첫 시작부터 확률과 분포가 어떤 것이고 조건부 확률, 전체 확률의 법칙 등 기본적인 내용부터 다뤄줬기 때문에 기초가 없던 나도 공부하는데 큰 어려움이 없었다

 

 

중간 중간에 간단한 예제들로 공식과 법칙을 풀고 적용하는 부분에서는 잠깐 영상을 멈추고 노트에 펜으로 직접 공식과 식 전개를 직접 해보면서 풀어보니까 이해가 더 잘되고 이게 공부하는 거구나 라는 소소한 재미도 느낄 수 있었다

대학교 강의? 여서 그런지 종종 용어 자체를 이해 못한 경우가 있었는데 ChatGPT에게 물어보고 내가 제대로 이해했는지 다시 물어보면서 공부를 했다

강화 학습 공부를 하셨던 팀원분께선 수식을 하나하나 전개해보고 여러번 쓰다가 궁금한 부분이 떠오르기도 한다고 하셨는데 수학도 그렇고 모든 공부는 직접 써보면서 체득하는게 진짜 공부인 것 같다

 

확률을 공부하면서 확률에 대해서 공부하는 것은 단순히 수학을 공부하는 것이 아니라 사고 방식, 데이터를 바라보는 시야의 확장이 되는게 아닐까 라는 생각이 들었다

 

확률에서도 MSE와 MAE가 나온다

MSE랑 MAE, 딥러닝 공부 조금이라도 한 사람이면 공식이랑 코드 모두 다 알고 있다

하지만 확률에서의 MSE는 평균은 최소 MSE를 갖는 추정값이며 최소 MSE는 곧 분산, Var(X)의 형태가 된다는 것을 보고서 '어 딥러닝에서 쓰는거랑은 뭐가 다른걸까' 라는 의문이 들었다

딥러닝에서는 “모델이 예측한 값들이 평균적으로 얼마나 실제값과 가까운가”를 보고 싶은 거고,
그 본질은 위에서 본 MSE 최소화 → 평균(기댓값)을 예측하는 것과 유사한 원리라는 점을 보고서 '아 확률을 잘 알고 있으면 이해의 범주가 더 넓어지겠구나' 라고 느꼈다

즉, 실제 딥러닝에서 사용하는 MSE도 실제값에서 빼는 예측값이 데이터의 분포 중 평균에 해당하는 값과 가까울수록 loss값이 낮아지는 경향이 있고 수학적으로 성립한다는 것

 

뭔가 느껴지는 부분이 있는데 아직 이해가 부족해서 글로 명확하게 정리가 안되는 것이 아쉽다

페어 리뷰 때도 이런 수학 공부에 대한 필요성에 대해 정말 공감하면서 이야기를 했다

수학 책 스터디를 만들까 고민하고 계시다고.. 만들어주신다면 꼭 참여할 생각이다

 

 

 

 

 

 

 

3. 피어세션 정리

 

 

 

 

 

이번 주는 내용의 난이도가 많이 높아서 그런지 강의에 대한 논의가 많았다

다들 내용들도 잘 따라가시고 질문하고 이야기 나누시는 모습이 정말 멋있었다

나도 저렇게 질문들 나누며 이야기할 수 있도록 더 열심히 공부해야겠다고 동기 부여가 되었다

 

팀원분께서 밑바닥부터 시작하는 딥러닝 5권을 보면서 공부하셨는데 여기의 내용이 이번 주차 내용과 완전히 겹쳐서 도움이 많이 되었다고 하시면서 이 책 스터디를 녹화한 아래 유튜브 채널, AI 오딧세이를 추천해주셨다

 

https://www.youtube.com/playlist?list=PLLohac-Sw2xPQ_--qOpLc2hdXAxsv7I5H

밑바닥딥러닝

 

 

 

 

 

이건 다른 팀원분께서 추천해주신 확률 강의들

하버드 강의를 볼까 하다가 강의가 하나당 1시간에 거의 50강..? 엄청 많아서 다 보기 힘들 것 같았고 아래 이상화 교수님의 확률 이론 강의를 보고 있다

 

확률 이론에서 확률 기본 개념부터, 기초 확률분포 모델, 문제 해결 예제와 다중 확률 변수 등 기본적인 내용들을 잘 담고 있어서 원래는 이번 주말까지 다 보고 싶었으나.. 시간상 힘들고 2~3챕터까지라도 다 보고 마무리할 생각이다

 

 

https://www.boostcourse.org/ai152

[하버드] 확률론 기초: Statistics 110

 

 

 

https://www.youtube.com/@%EC%9D%B4%EC%83%81%ED%99%94%EC%9D%98%EC%84%A0%ED%98%95%EB%8C%80%EC%88%98%EC%99%80%ED%99%95/playlists

이상화의 선형대수와 확률이론

 

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

4. 회고

 

 

 

이번 한 주는 잘 보냈는가?

늘 아쉬움이 크지만 NLP 이론을 듣던 5주차, 저저번주 보다는 좀 좋아진 것 같다

 

 

루틴 부분으로는 

• 아침 루틴으로 스트레칭, 모닝페이지와 독서를 통해 괜찮은 아침을 보내왔다
• 스트레칭도 좋지만 우선은 충분히 잠을 자서 아침에 에너지가 있어야하고, 잠을 깨는 것이 둘째. 
  일어나자마자 아침 산책도 효과가 좋은지 한번 테스트해보려 한다
• 저녁에 꾸준히 운동 다녀오고 있다. 오늘도 회고 정리하고서 헬스장 다녀올 생각이니까 평일 내내 다녀왔다
• 평일 중 3일은 늦게 잤고 이틀은 12시 전 취침. 잠을 자는게 가장 중요한데 자기 전에는 뭔가를 했으니 보상 심리를 조심해야한다

확실히 나는 루틴을 통해 기본적인 요소들이 잘 받쳐줘야 일상도 잘 유지되는 것 같아서 조금씩 나에게 맞는 루틴을 찾으면서 더 공부에 집중할 수 있는 방법을 찾아보려 한다

 

 

집중하기 위한 환경 조성으로는

• 극한 스터디. 주마다 목표 공부 시간을 설정하고서 지키지 못하면 벌금을 내는 형태이다
• 밥만 먹고 하루종일 공부하는 게 실제로는 쉽지 않으니.. 평일 코어 타임동안, 최소 7시간씩 그리고 주말 한나절 공부하는 걸로 최소 40시간 ~ 최대 50시간 순공을 잡았는데 아슬아슬하다. 낭비 시간을 1시간 이내로 줄이고 공부와 다른 생산적인 활동에 사용하는 방향으로 개선하는게 목표이다
• 단순히 앉아있는 시간만을 늘리는 게 아니라 집중하고 몰입하는 시간을 만들어내는 것 또한 목표
• 디코 독서실 채널 만들어서 캠을 키거나 화면 공유를 하면서 공부하고 있다. 몇 분 종종 들어오시긴 하지만 그렇게 많이 오시진 않는다.
• 고독한 독서실 느낌으로 하고 있는데 다른 사람의 여부와 상관없이 캠과 화면 공유 만으로도 덜 늘어지고 좀 더 책상에 앉아있게 만드는데 도움이 되어서 남은 기간에도 꾸준히 할 생각이다

 

 

 

 

 

이번 추천 시스템 주차를 거치고서 심화 트랙은 CV로 확정하였다

추천도 흥미롭고 수학 계속 공부하면서 재밌을 것 같아 보였지만.. 이전의 얼마 안되는 이력이라도 살려서 취업 가능성을 높이기 위해선 바닥부터 시작해야하는 추천보단 CV로 가야겠다고 결론을 내렸다

다음 주부터는 새로운 팀원분들과 함께 새로운 내용이 시작된다

어떤 방향성으로 공부해야할지도 주말 동안 정리해보고 다음주 예비군 다녀와서 열심히 달려봐야겠다

 

 

잘하는 분들이 너무 많고 따라가지 못해 나도 모르게 비교를 하게 되지만 잘하는 분들은 그만큼 많은 노력을 기울였고 당연히 차이가 날 수 밖에 없다

이러한 부분을 받아들이고서 비교 보다는 내가 당장 할 수 있는 것부터 포기하지 않고 묵묵히 하는 것, 미래에 아 안되면 어쩌지 망하면 저쩌지 생각보다는 꾸준히 하다보면 뭐라도 되어있을테니..

이전 편입 공부때도 느꼈지만 평균에서 크게 벗어나지 않고 등락없이 꾸준하게 가는 것이 최고임을 다시 한번 깨닫는 한 주였다