[부스트캠프 AI Tech 8기] 3주차 회고

 

 

 

 

 

 

 

 

 

1. 한 주 개요

 

 

 

부스트캠프 3주차가 마무리 되었다

이번 주에는 ML LifeCycle 인데 주요 내용은 간단한 모델 직접 구현과 트랜스포머가 메인이였다

1~2주차는 적응하는 시기라 어느정도 긴장감이 있었으나 이제 프로그램에 적응되면서 오히려 다소 루즈해졌던, 아쉬운 부분이 있었던 한 주였다

 

 

 

 

 

 

 

 

 

---

 

 

 

 

 

 

 

2. 이번 주 주요 내용

 

 

 

 

위에서도 말했듯이, 이번 주 교육은 ML LifeCycle.

1~2주 동안 파이토치의 사용법과 수학, 핵심인 경사하강법과 역전파 등에 대해서 배웠다면 이번 주에는 이것들을 전체적으로 다뤄서 간단한 모델을 만들어 보고 AI 핵심 중 하나인 트랜스포머에 대해 배웠다

 

모델 직접 구현에서 갑자기 트랜스포머...?

사실 구성 자체가 중간에 배워야할 많은 내용들을 다 건너뛰고 확 가버린 느낌이 크기에 정말 어려웠으나 AI 한다면 일단 필요한 기초들을 어떻게든 교육생들에게 넣겠다는 부캠의 강한 의지를 느낄 수 있었다.. 😇

맞지... AI 하면서 트랜스포머를 모르는건 말이 안되긴 하다.. 진작에 공부했어야 했는데 오래된 업보를 청산하고 있다

 

 

공부하는 중 모델을 직접 구현하는 부분 중 역전파 과정에서 이해가 안가는 곳이 있어서 여기를 이해하는데 시간을 꽤나 할애하였다

저번 주에 정리했던 MSE Loss와 시그모이드에서의 역전파 이해하는 글과 비슷한 맥락이면서 더 확장되는 개념이였는데 순전파가 이뤄지는 과정을 그대로 거꾸로 편미분하여 어떻게 거슬러 올라가는지를 공부할 수 있게된 좋은 기회였다

 

 

 

NumPy 만으로 2-Layer Neural Network와 Backpropagation 구현해보기

NumPy 만으로 2-Layer Neural Network와 Backpropagation 구현해보기

 

 

 

교육에서 난이도 있는 과제들을 대부분 차지했던건 트랜스포머였다

강의를 보긴 했으나 워낙 광범위한 내용들을 짧은 시간내에 다루려고 하다보니 뭐가 지나간지도 모른채 순식간에 훑고서 지나갔다.. 점점 말이 빨라지시는 강사님..

 

트랜스포머 내용을 많이 따라가지 못해서 이번 위클리는 문제들을 많이 풀지 못했다

페어 리뷰때 이 부분으로 공감 포인트를 형성할 수 있어서 이걸 좋다고 해야할지.. 😂

 

트랜스포머의 구조와 메인 아이디어를 이해하는 것이 핵심이고 우선이기 때문에 RNN과 LSTM 부분은 구조 이해만 하고 넘어간 뒤에 트랜스포머에 대해 더 자세하게 다루는 다른 강의랑 유튜브, GPT와 함께 주말동안 쭉 복습해보려 한다

 

 

 

 

 

 

 

 

 

 

 

3. 피어세션 정리

 

 

 

 

아무래도 내용의 난이도가 많이 높다보니.. 어려웠던 부분들 이야기 나누거나 부족한 부분들 공부를 주로 하였다

그리고 팀원 한 분께서 책 추천을 해주셨는데 혁펜하임님의 Easy! 딥러닝이라는 책이였다

 

 

https://product.kyobobook.co.kr/detail/S000214848175

Easy! 딥러닝 | 혁펜하임 - 교보문고

 

 

 

 

 

코드 보다는 이론을 다루는 기초 입문서로, AI 모델 내부에서 어떤 수학적인 또는 개념들이 적용되고 돌아가고 있는지를 잘 설명하고 있기에 기초를 복습하고 다지기에 정말 좋은 책이라 생각한다

 

출간 당시 오픈톡방에서 리뷰어 모집해서 올해 초 책 리뷰글을 작성했었는데 당시에 다 보진 못했고 일부 내용만 봤기 었는데 이번에 이론도 깊게 다루고 있으니 추석까지 완독하는 것이 목표 중 하나이다

 

 

 

혁펜하임의 Easy! 딥러닝 - 기울기 문제부터 배치 & 레이어 정규화까지

혁펜하임의 Easy! 딥러닝 - 기울기 문제부터 배치 & 레이어 정규화까지

 

 

 

 

 

 

 

아래는 팀원들과 공유한 트랜스포머 관련 참고 자료들

보고 또보고... 이해할 때까지 봐야지.. 주말에 해야할 것들이 고봉밥이다!

 

 

https://youtu.be/AA621UofTUA?si=GfvjeTGmbEOdPtlw

 

 

 

https://youtu.be/6s69XY025MU?si=8YnJ-JXu1S314-OG

 

 

 

https://youtu.be/x_8cp4Vdnak?si=FpaIfHZWXQ1VN6Ji

 

 

 

https://youtu.be/8E6-emm_QVg?si=ONp3W7fVhpwOCLjj

혁펜하임님 최고..! 암 잘 이겨내시고 쾌유하시길!!

 

 

 

 

 

 

 

4. 회고

 

 

 

이번 주는 공부해야할 내용이 많음에도 그만큼 정말 열심히 하지 못해 아쉬운 부분들이 많았던 한 주였다

위에서도 적었듯이, 적응하면서 긴장감이 있었던 1~2주와 달리 오히려 적응되고 나서 느슨해졌기에 전체적으로 공부의 집중도가 저번 주 보다 다소 떨어지는 경향이 있었다

 

프로그램의 코어 타임이 있고 아침 스크럼과 오후의 피어 세션이 있다지만 줌에 접속하는건 일부이며 나머지는 집에서 자율로 공부하다보니 루즈해지는게 정말 커서 이 부분을 어떻게 해야 개선할 수 있을까 하는 고민이 있다

온라인 캠스터디 처럼 캠을 켜서 상반신 또는 손이 나오게 해서 줌으로 온라인 독서실이 효과가 좋긴한데.. 부캠에서 이런 부분을 지원해줄지는 모르겠으나 문의를 넣어봐도 좋을 것 같다

 

주말에는 트랜스포머 계속 공부하고 여유 된다면 공부한 내용을 블로그글로도 정리해보고 싶은데 일단은 희망사항이다

글로 정리할 수 있게 된다면 그만큼 내 이해도가 많이 높아졌다는 것이니까 꼭 정리해보고 싶다

다행히 다음주는 CV쪽 이어서 트랜스포머 복습과 같이 병행하는 한 주가 될 것 같다